O pai quer levar meu filho para casa de parentes em outra cidade, devo deixar?

Meu filho tem 1 ano de idade e o pai quer levá-lo para passar o dia na casa de parentes em outra cidade. Não sei o que devo fazer, pois o pai e a família paterna nunca se interessaram na rotina do meu filho e também acham bobagem todos os cuidados que tenho com ele. E o pai não quer ter horário estipulado para trazer ele de volta. Como posso resolver isso, quais são os meus direitos nessa situação?