Posso proibir o pai do meu filho de levá-lo para a casa dele?

Tive um relacionamento conturbado de 2 anos que resultou no meu filho de 1 aninho. O pai assim que soube da gravidez me expulsou de casa, quando o bebê nasceu eu deixava ele visitar a criança com freqüência. Quando o bebê completou 2 meses, eu voltei a morar com o pai dele, quando o bebe completou 8 meses o pai dele saiu de casa, foi embora e me deu 15 dias para sair (pois a casa era alugada). Separados, eu ainda deixo ele pegar o bebê, com a condição de levá-lo para casa da minha ex-cunhada, (pois o bebê não é acostumado com o pai e com a tia ele é), mas o pai quer levá-lo para casa dele. Como posso proibir isso? Que direitos eu tenho?

Obs: meu bebê convive bem com os parentes paternos, pois eu tenho boa conivência com eles e sempre estou por perto... mas eu não quero deixá-lo na casa do pai dele, não tenho confiança nele e o bebe não tem costume com ele.