Meu filho de 4 anos não quer mais passar finais de semana na casa do pai

Meu filho sempre gostou de passar os finais de semana com o pai, mas nas últimas semanas ele tem entrado em desespero quando o pai vem buscá-lo na sexta-feira. Ele chora de soluçar, coisa que não costumava fazer. Já conversei com ele sobre o porquê de ele não quer ir e ele reclama muito da hora de dormir, diz que não gosta do quarto do "irmão" (filho adolescente da esposa do pai), local onde ele dorme.

Sempre pergunto se este menino o machucou de alguma maneira e ele diz que não, mas ainda continua reclamando de dormir no quarto do menino e no escuro (em casa ele dorme em relativo escuro).

Fico perdida sobre o que fazer, será que posso impedi-lo de ir pra casa do pai dele diante desse desespero? Eu sinto que tem algo incomodando muito ele nesses finais de semana e não estou mais confortável de deixá-lo ir para a casa do pai.

Nós temos um acordo judicial que garante a ele o direito de visitas durante os finais de semana e gostaria de saber se eu corro um risco de ser processada se não deixar meu filho ir, ele já me processou uma vez sem necessidade alguma em uma história mais inventada do que verdadeira, mas agora meu filho não quer ir de jeito nenhum e acaba indo obrigado pelo pai.