¿Cómo darle el cuidado personal a mi madre sin que el padre se oponga?

Mi ex-pareja es una persona drogadicta, supuestamente él en este momento está en un centro de rehabilitación. Él quiere al niño pero cada vez que lo va a ver (una ves a las miles), pelea conmigo delante de él y me pide plata. Mi hijo ya no lo quiere ni ver y ni tampoco salir con él y yo no lo voy a obligar. Mi madre vivió la mayor parte con mi hijo desde que nació hasta hace un año, mi hijo quiere ir a vivir al sur con mi mamá y yo hace dos años que no vivo con mi mamá y ella está de acuerdo en llevárselo y él se quiere ir con ella. ¿Cómo hago para que el papá de mi hijo no reclame nada?