Depende
vamos a ver,no especificas si teneis un convenio firmado y ratificado o no.
En principio no puedes negarte porque vaya otra persona a recoger a la niña (siempre, claro está, que sea alguien de su entorno y a quien la niña conozca).
Siempre puedes solicitar una modificación de medidas para que se establezcan todas estas cosas y para que se especifiquen exactamente los días y horas de visitas. Lo mejor sería que, de momento, le pidas que te informe por escrito (via fax, mail o telegrama) porque si no, no tendrás forma de demostrar que inclumple el horario.
Si éstos ya están expresamente determinados en el convenio (es decir, el convenio dice que la visita será el primer y tercer fin de semana de 11h a 18h, por decir algo), entonces sí puedes negarte a darle a la niña cuando llegue tarde y, además, puedes llamar a la policía si tarda más de media hora en devolvertela. Esto te servirá para preconstituir prueba (es decir, para demostrar su incumplimiento y solicitar la modificación de medidas).
Bueno, y si no teneis convenio, sería muy recomendable que lo hicierais
Saludos,
Lau