Pai vê a criança a cada 3 meses e quer a guarda

Oi pai da minha filha teria o direito de pegar nossa filha de 2 anos em finais de semanas alternados pegar no sábado devolver no domingo! Só que moramos em cidades diferentes e ele não compre com o combinado pela reconciliação! Ele aparece pra ver ela a cada 2 ou 3 meses! E por esse motivo não deixo ele sair com ela sozinho pois ela ainda mama e não tem convívio com ele! Mais deixo ele ficar a hora que ele quizer dentro da minha casa para ficar com ela! Só que ele toda vez que está pra vir ele me ameaça falando que vai pegar ela e não vai ficar na minha casa com ela e ainda fala que eu não deixo ele ficar com ela mesmo deixando ele ficar na minha casa! Queria saber se posso conseguir a guarda unilateral ?! Pois mesmo deixando ele ficar na minha casa com ela! Nos 2 nunca nos entendemos em relação a guarda dela!