Enamorada de un hombre casado

Hola a todos. Estoy desesperada y necesito ayuda y consejos. Hace 4 meses empecé una relación con un hombre casado y todo era maravilloso. Yo dejé a mi pareja que me quería de verdad pero que no me hacía plenamente feliz. Seguí con este hombre casado y él se fue de su casa. Desde hace dos meses ya no hace tantos efuerzos por estar conmigo, me dice que es porque su mujer lo tiene amargado y no le deja ver a sus dos hijos. Sin embargo dice que sigue estando enamorado de mi...aunque de repente dejo de tener noticias suyas durante 4 días y me dice que es porque está muy afectado. No quiere volver a su casa...a pesar de que yo le digo que lo haga porque lo veo muy mal...me dice que me ama pero que si no puede ver a sus hijos no puede ser feliz de ninguna manera.
No sé qué hacer...si debo dejarlo...si vuelvo con mi ex pareja...con él que me sentía tranquila y estable...o tengo paciencia...Muchas gracias. Por favor, ayúdenme.