Quem decide onde o filho vai morar quando os pais são separados?

Tenho uma filha de 5 anos e sou separado da mãe dela, mas nunca determinamos nada judicialmente. Pago pensão e busco participar ao máximo da vida da minha filha, mas nessas férias minha filha foi para a casa dos avós maternos, agora minha ex me informou que minha filha irá morar com os avós.

Ela pode decidir isso sozinha? E outra coisa: a minha ex vai continuar morando na mesma cidade que eu, só minha filha que vai mudar, minha ex alega que assim será mais fácil. O que devo fazer para impedir?