O pai de meus filhos morreu, alguém pode tirar a guarda de mim?

O pai de meus filhos morreu e meus filhos ficaram morando comigo na casa de minha sogra, como eu tinha ganhado uma casa do governo, resolvi ir morar lá. Mas meus filhos como estavam estudando resolvi não atrapalhar a aula deles e os deixei com os avós, lá já estão há dois anos e agora os quero para morar comigo, lembrando que nunca os abandonei e sempre tiveram uma vida familiar comigo. Agora os avós querem tirá-los de mim. O que devo fazer?