Mit Simulation meine ich ein Programm wie z.B. MatLab oder LabView, mit dem die Regelschleife simuliert werden kann. In der Elektrotechnik wird das üblicherweise so gemacht. Ich denke, dass das auch bei gemischten Sytemen (Elektro, Mechanik) so gemacht wird. Damit kann man die Stabilität und andere Kennwerte wie Schnelligkeit der Ausregelung bestimmen und natürlich durch Verändern von Parametern sehen was passiert. Früher hat man das von Hand mit Hilfe von Bodediagrammen gemacht, aber das war sehr umständlich.

Da sehe ich schon ein grösseres Problem auf dich zukommen. Die Masse kann nicht beliebig schnell verändert werden. Das System hat damit eine Verzögerung und die musst du mit berücksichtigen. Wenn dir das nicht gelingt, dann ist das Finden deiner Parameter (KP, usw.) so ähnlich wie das Suchen einer Nadel im Heuhaufen.

Ich würde an deiner Stelle jetzt folgendermassen vorgehen:
Reduzier deine Regelcharakteristik auf einen reinen Proportionalregler, damit wird die Sache schon mal einfacher. In dem Fall musst du dann von Hand die waagerechte Lage nachstellen oder justieren. Mit der Verstärkung KP kannst du dann rumprobieren. Wenn das soweit funktioniert, kannst du dann immer noch auf kompliziertere Regeltypen umsteigen.

In dem System ist durch die beschleunigten Massen bereits ein Integrator (I-Anteil) vorhanden (wenn ich mich nicht irre). Hinzu kommt noch eine Verzögerung durch die Abtastzeit. Wenn du dann in der Regelung auch noch einen Integrator einbaust, dann ist eine Schwingneigung eigentlich vorprogrammiert.

Ich hoffe das hilft dir etwas weiter.
Waste