Salir fuera del país con mi hijo.

Quiero salir del país con mi hijo de vacaciones y el papa de mi hijo hace mas de 3 años que no lo ve porque nunca ha reclamado las visitas. ¿Qué puedo hacer para no pedirle permiso a el cada vez que salga del país? ¿Hay algo así como quitarle los derechos a el para que yo pueda salir tranquila al extranjero de vacaciones?