Mãe pode perder guarda de crianças para avó por não cuidá-las?

Minha mãe conheceu um cara pela internet e resolveu morar com ele na casa da minha avó (casa compartilhada). Isso tudo em apenas uma semana. Ele não faz nada, nem trabalha e a situação me assusta, porque não o conhecemos tenho dois irmãos pequenos (7 e 10 anos). Minha mãe é viúva e sempre larga as crianças comigo ou outros parentes para sair. Agora minha avó e minha tia querem a guarda das crianças. O que fazer nessa situação?