Como devo proceder? Ainda não entramos em processo de separação

Bom dia!

Meu ex-marido saiu de casa há um ano e meio para viver com outra mulher.

Não o proíbo de ver meus filhos, apenas não quero que ele entre em minha casa. Esses dias estava trabalhando e meus filhos de 12 e 16 anos estavam em casa, e ele foi lá sem minha autorização.

Só que ele fica me acusando de não deixá-lo ver os filhos e ele nunca tem tempo para pegar os filhos e levar para sair ou para a casa dele e em nenhum momento eu o proibi. Ele ainda me disse que é dono da casa, que pode entrar sim, só que ele abandonou nosso lar. Como devo proceder, ainda não entramos em processo de separação?