Mi ex quiere ver a mi hijo, porfavor necesito ayuda

Resumiendo: Tuve un hijo con mi pareja, desde hace 5 años estamos separados y desde hace 3 no le ve ni sabe nada de el, y mucho menos me pasa pension( pues no tengo los papeles arreglados) el caso es que ahora de repente aparece en nuestras vidas que quiere verle, hablar con el y me amenaza con venir un dia a buscarle ya que no lo puedo negar dejarselo porque no hay medidas paternofiliales, mi pregunta es.. Puedo negarme a que se lo lleve?? porfavor, agradeceria que alguna en mi caso me dijese algo. gracias!!