Comprei um lote, mas tem um homem que tomou conta dele

Olá, comprei um lote aqui na minha cidade pela imobiliária, só que quando cheguei no loteamento tem um homem que diz ser o dono do mesmo lote pois ele cuida a um tempo do lote. Eu tenho o papel da compra autenticada pelo antigo proprietário em que está tudo feito a compra e passado para o meu nome. Só que o homem que diz ser dono por ter cuidado todo esse tempo não quer tirar as coisas dele do meu lote. O que posso estar fazendo neste caso?