O que devo fazer quando o contrato é verbal e o inquilino não quer sair?

O contrato foi feito de forma verbal. O inquilino está com 2 alugueis arrasados e informou que entregaria o apartamento. Marcamos de conversar e quando fui lá não havia ninguém no AP. Liguei, tentei entrar em contato e sem resposta entrei no AP, pois imaginei que já haviam saído sem falar nada. O AP estava praticamente vazio, vi que ainda havia poucos móveis e saí novamente. Agora o mesmo está querendo entrar na justiça conta mim alegando que invadi o Apartamento. Não quer retirar o restante das coisas por que vai entrar na justiça. Como devo proceder?