Pareja secreta... hasta cuándo?

Hola, tengo 45 años y llevo 4 manteniendo una relación con un hombre casado. Digo casado entre comillas porque se fue de la casa familiar hace dos años y ahora vive por su cuenta, pero sin haberse divorciado. Cuando empezamos la relación yo entendí que debíamos de ser discretos, ya que aún vivía con su mujer. El problema es que con el paso de los años las cosas han seguido igual. Si todo va bien, solemos vernos una noche a la semana en mí casa. No solemos hacer nada juntos de lo que se considera de pareja: ir a cenar fuera, al cine, a pasear, de compras, Cuando alguna vez hemos estado juntos en espacios abiertos, vamos como amigos, nunca me da la mano, ni un beso, ni nada. De sus amigos sólo conozco a uno (se supone que sabe que estamos juntos). Nadie de su entorno sabe que estamos juntos. Después de cuatro años debo empezar a preocuparme?