¿Se puede denunciar la irresponsabilidad del deber de padre?

Tengo un hijo de 3 años, y con su padre realizamos un acuerdo de mediación en el cual quedó estipulada la suma a cancelar de forma mensual y el calendario de visitas (que es los fines de semana) pues bien, en el mismo acuerdo se concedió el derecho del padre de poder retirar al menor los fines de semana después de que el pequeño cumpliese los 2 años. La idea era que el aprendiera a cuidarlo ...y si bien ha cumplido en gran parte con la pensión alimenticia acordada, las visitas no las realiza como corresponde, en carabineros me informaron que debo dejar constancia de cada vez que el falle a sus horarios de visita...pero el nunca ha cumplido con dicho calendario, a pesar de eso, se le ha permitido ver a mi hijo cuando viene fuera de su horario de visita, pero ya me cansé de su irregularidad y de verme atada a quedarme en mi domicilio los fines de semana por si el viene a ver a mi hijo, cuando en realidad nunca llega cuando corresponde. ¿Se le puede privar de las visitas? ¿Al menos hasta que se comprometa en realizarlas de una forma regular? ¿O simplemente tengo que seguir esperando cada fin de semana mientras mi hijo se desilusiona de ver que su papá nunca llega? Desde ya, gracias.