男人的性欲并没有一个固定的年龄开始减退，这是一个因人而异的过程。一般来说，随着年龄的增长，男性的性欲可能会逐渐减退，这与生理和心理因素有关。

生理上，随着年龄增长，男性睾丸内睾酮水平可能会下降，这可能会影响到性欲。血液循环系统和神经系统的功能也可能会受到影响，进而影响到性欲和性功能。

心理上，随着年龄的增长，人们对性的态度和需求也可能会发生变化。随着生活中其他方面的重要性增加，性可能不再是主要关注点，从而导致性欲减退。

男人的性欲减退是一个渐进的过程，受到多种因素的影响。并非所有男性都会经历这种情况，因为个体差异很大。对于任何对性功能变化感到担忧的人，建议咨询医疗专业人士以获取个性化建议。