No hay por qué
Si eres feliz con él, no tienes por qué dejarle ni decirle que le dejas, quizá necesites esperar un poco más a que él también quiera el matrimonio. O quizá sea que le falta lanzarse a pedírtelo y te toque lanzarte a ti.
Otra cosa es que verdaderamente quisieras dejarle. En ese caso no escuches a nadie, ni a él, y adelante.
Suerte!!