男人的性欲到多大年龄开始减退是一个复杂的问题，因为性欲受到许多因素的影响，包括年龄、生理健康、心理状态和环境因素等。一般来说，随着年龄的增长，男性的性欲会逐渐减退，这在生理上是正常的现象。具体来说，大多数男性在中年时期（约40至60岁）可能会注意到性欲下降。这部分是由于睾丸中睾酮水平的下降，这是男性激素的主要来源。

除了生理因素外，心理和环境因素也可能影响性欲。例如，工作压力、家庭关系问题、情感问题或心理健康问题都可能导致性欲下降。某些药物的副作用、慢性疾病、饮食习惯和生活方式也可能对性欲产生影响。

要注意的是，并非所有年龄段的男性性欲都会减退，因为个体差异很大。一些人可能在老年时期仍然保持较高的性欲，而另一些人则可能在较早的年龄出现明显的下降。重要的是，如果一个人感觉到自己的性欲明显减退，并且这种情况影响到了他的生活质量，那么他应该考虑咨询医生，以了解可能的原因并获得适当的治疗建议。