要减小小手臂肌肉的粗壮，可以采取以下措施：

1. 有氧运动：如慢跑、快走、游泳等，每周至少进行3-5次，每次30-60分钟。

2. 重量训练：使用较轻的重量，进行高重复次数的训练，以增加肌肉耐力而不是肌肉大小。

3. 伸展运动：进行针对手臂肌肉的伸展运动，如手臂伸展、肩部放松等，有助于舒缓肌肉并减少肌肉紧张。

4. 控制饮食：避免过量摄入高蛋白食物和高热量食物，以控制体重和减少肌肉量。

5. 饮食平衡：保证摄入足够的蛋白质、碳水化合物和健康脂肪，以维持身体的营养需求。

6. 定期休息：给肌肉充足的休息时间，让其有时间恢复和修复，避免过度训练导致肌肉过度发达。

以上方法结合起来，可以帮助减小小手臂肌肉的粗壮，使其更加纤细。