qual idade meu filho pode passar o dia na casa do pai?

Olá, meu filho tem 3 meses, e eu sempre liberei o pai vim visitar ele (ele é menor de idade), e ele sempre vem com a mãe ele. e até agr só vieram 3 vezes, não nos damos muito bem. e hoje, eles vieram e a avó do meu filho, nem falou comigo, mas quando chegou em casa, me mandou mensagem dizendo que quando ele tiver com 8 meses ela vai pegar ele pra passar o dia na casa dela. nunca fiz nada pra ela, pelo contrário, eles que fizeram muito mal a mim, ela sempre fala mal de mim para os outros, e agora quer pegar meu filho, claro que não irei deixar. mas queria saber a opinião de um advogado, o que faço nessa situação, qual a idade que ele pode passar o dia com eles? ah, vale lembrar que ele não trabalha, ainda estuda, praticamente não tem interesse no filho, e sempre quem resolve as coisas é a mãe dele, ela nunca deixa ele se posicionar, quem toma a frente é ela, o que faço??