Montenegro,

Não sei se entendí direito, mas não dá para dizer com certeza o que pode estar acontecendo.

Pode ser ferramenta errada para o trabalho - velocidade errada, rpm errada, folga demasiada nos movimentos, flexibilidade da ferramenta, do suporte do motor que aciona a ferramenta, do eixo do motor, etc...

A resolução é fixa ou seja - ela depende de um conjunto de driver + motor + características do método usado para movimentação dos eixos (fusos, cremalheiras, correias etc)...

Tem como postar alguma imagem do que está acontecendo e da máquina para a gente ver?

Quem sabe dá uma luz em algum de nós e aparece a solução...