¿Me pueden echar de la vivienda después de un acuerdo judicial?

Se realizó un acuerdo judicial a principios de años, en el que mi ex pareja, no somos casados, padre de mis dos hijos menores iba a pagar la casa donde vivimos y me iba a dar cantidad de dinero como parte de la pensión de alimentos. Ahora de un momento a otro me dijo que tenia que buscar donde vivir porque él iba a volver a la casa y yo me tenia que ir. ¿Esto lo puede hacer? ¿Puede sacarme son tan poco aviso y dejarme sin nada a mi y a los niños?