Sobre direito legal sobre as crianças

Eu me divorciei e tenho 3 filhos até então ficou tudo certo judicialmente mais depois de alguns meses do divórcio ele não tinha condições de pagar a pensão e entramos em acordo eu e ele . E ele gostaria que eu fizesse a exoneração de alimentos. E foi o que fizemos na defensoria pública. Fomos até lá e dissemos que estamos bem que não havia necessidade disso. Porém agora estou com uma dúvida ele não está ajudando com nada e me informaram que se eu quisesse ter o direito das crianças receberem a pensão iria ter que entrar novamente com o pedido. No momento atual como fica a situação do direito que temos sobre as crianças. Quem fica responsável ?! Se vou ter que entrar com ação para rever todos os direitos em relação a visita e deveres com as crianças?

Obrigado