Se puede quitar el apellido paterno??

Buenos dias. Mi caso es que engendre mi hija con una persona comprometida con hijos, la esposa de él no le permite verla y le pelea si él intenta colaborar con dinero. Por dicha situación jamás se ha preocupado ni por el bienestar personal ni económico de la niña, por cuestiones de la vida él le dio el apellido a mi hija, pero ahora los dos queremos desistir de esto pues yo sola he sacado y sacaré mi hija adelante y él no quiere tener ningún vinculo con ella. quiero saber si eso se puede hacer, si él puede desistir a la patria potestad de mi hija es decir, que no vaya a tener ningún derecho sobre ella