男人的性欲并没有一个固定的年龄开始减退的时间点，因为每个人的身体状况和生活方式都不同。一般来说，随着年龄的增长，男性的性欲会逐渐减退，这是由于身体激素水平的变化，特别是睾丸激素水平的下降所致。通常在40岁以后，睾丸激素水平会开始逐渐下降，从而导致性欲减退。并不是所有的男性都会在这个年龄段感到性欲减退，有些人可能会在更年轻或更年长的时候经历这种变化。

性欲减退的原因有很多，除了年龄因素外，还包括生活方式、心理因素、健康状况等。例如，长期的压力、焦虑、抑郁等心理问题可能会影响性欲；不良的生活习惯、缺乏运动、饮食不均衡等也可能导致性欲减退；某些疾病或药物的副作用也可能影响性欲。

因此，想要保持健康的性欲，男性除了注意保持良好的生活习惯外，还应该关注心理健康和身体健康，及时处理潜在的健康问题，保持良好的心态。如果出现持续的性欲减退问题，建议及时就医，找到合适的治疗方法。