Avós paternos ameaçando tomar meu bebê de 1 mês, eles podem?

Tenho um bebê de 1 mês e 23 dias ele mama só no peito e briguei com meu esposo mais não separamos , a família dele se intrometeu e disse que vai tirar o meu bebê só porque não deixo o meu bebê ir na casa deles, moramos no mesmo terreno e não proíbo eles de verem meu bebê apenas não quero que ele fique sozinho , corro risco de perder meu bebê? Pois eles ficam ameaçando em toma-lo de mim.