男人的性欲并没有固定的年龄开始减退的时间点，因人而异。通常情况下，随着年龄的增长，男性的性欲会逐渐减退，这主要是由于身体激素水平的变化。睾丸开始减少睾丸素的产生，这是男性激素的主要来源之一，睾丸素水平的下降可能会导致性欲减退。

除了生理因素外，心理和环境因素也会影响男性的性欲。随着年龄的增长，生活中的压力、工作和家庭责任的增加，以及健康状况的变化，都可能对性欲产生影响。一些药物、疾病或手术也可能影响男性的性欲。

因此，性欲减退是一个复杂的问题，受多种因素的影响。如果男性对自己的性欲有任何担忧，建议咨询医生进行评估和咨询。