Como posso proceder para tirar o pátrio poder do pai do meu filho?

Pois desde novinho eu que sempre cuidei dele e apesar do pai contribuir financeiramente ele nunca ligou muito para a criança, nunca deu o afeto e carinho de pai que a criança necessita, vindo a passar dias sem se quer saber como o menino está e sempre que é necessário ele ficar com o filho é uma briga. Porém na frente das pessoas vive dando um de pai amoroso. Nem mesmo meu filho que já tem 1 ano e 4 meses reconhece ele como pai, vindo a estranha-lo em alguns momentos.