O pai do meu filho tem visitação livre. Como é isso?

No processo consta visitação livre e o pai pega meu filho de 15 em 15 dias. Mas qd está trabalhando não vem pegar e mudar toda a rotina. Não consigo fazer planos para os fins de semana. Ele alega que pode pegar quando quiser. E não quer entrar em acordo comigo. Diz que eu tô maluca. Eu nunca o proibo de pegar o filho. Mas quando tenho algum compromisso com ele, peço para o pai não vir busca li. Ele fica falando coisas horríveis, pq tem a tal "visitação livre". Nesse Caso, eu posso impedir que ele pegue o filho quando eu tenho planos com o mesmo?