¿Como quitarle visitas a un padre?

Mi caso es el sgte el padre de mi hija hace 6 meses esta con pareja nueva lo que causo el motivo de no venir mas a buscar a mi hija como corresponde y yo por trabajo he tenido que acudir a los padres del papá de mi hijapara que me la puedan ver los fin de semana que trabajo pero con testimonios de los propios padres de el me han dicho que el arranca de la casa cada vez que llega la niña y apenas la saluda,en tema de dinero también se ha puesto irresponsable porque me deposita de a poco y no en la fecha establecida,Y me deposita porque yo tengo que peliar con el todos los meses de que me deposite y los padres de el también constantemente le dicen que deposite,con todo esto los mismos papás de el de que le quite a el todo tipo de derecho sobre la niña y ellos mismo hacerse cargo de ver a la niña,yo quisiera saber que posibilidad hay de quitarle el derecho de visitas pero sin quitarle a el la responsabilidad del dinero para su hija porfavor necesito orientación sobre esto