Ich würde vermuten, dass ein Servo mit der geforderten Auflösung überfordert ist. Allein das Spiel im Getriebe. Oder gibt es entsprechende Präzisionstypen?

Ich würde vermutlich einen Schrittmotor, ohne Getriebe, im Mikroschritt angesteuert probieren. Mikroschritt wird man nicht nur wegen der geforderten Auflösung, sondern auch wegen der Stabilität haben wollen. Zumindest meine (zugegeben nicht sehr große) Erfahrung mit Schrittmotoren ist, dass Vollschritt schnell unstabil wird, wenn die Last hauptsächlich aus Schwungmasse besteht.

Ich bin aber nicht sicher, wie gut die Positionierung im Mikroschritt tatsächlich ist, das hängt sicher auch vom speziellen Motor ab. Es gibt ja auch Preisunterschiede, das legt die Vermutung nahe, dass es auch Qualitätsunterschiede gibt.

Kommen (außer unvermeidlicher Lagerreibung) noch irgendwelche äußeren Kräfte bzw. Momente auf das System? Ich denke daran, dass die Steifigkeit ja auch ein Kriterium ist, falls es mechanische Strörgrößen gibt. Bei der Steifigkeit wäre natürlich eine Getriebelösung überlegen, wenn man das Spiel kleinhalten kann.