Hey,

wenn die inverse Kinematik für den Arm steht, ihr Eurem Roboterarm also x-, y- und z-Koordinate des TCP sagen könnt und er diese dann anfährt, ist die Sache - zumindest in der rudimentärsten Form - eigentlich nicht so schwierig. Ich habe nur relativ kurz mal mit der Kinect rumgespielt, aber die x-, y- und z-Koordinate z.B. des Handgelenkes bekommt man ohne große Umwege in physikalischen Einheiten aus dem Skeleton-Tracking. Im einfachsten Falle steckt man diese direkt in die IK. An dieser Stelle kann man die Dinge natürlich verfeinern, aber im Prinzip macht das System dann schon, was Du oben beschrieben hast. Mach Dir aber keine Illusionen über die Genauigkeit des Skeleton-Trackings der Kinect, oben in dem Video verwenden sie eine Leap Motion, das ist etwas anderes! Ich habe nur mit der ersten Kinect gearbeitet, ob die zweite (anderes physikalisches Sensorprinzip) deutlich genauer ist, weiß ich nicht.

Ich habe sowas ähnliches mal auf die Schnelle mit meinem Delta-Roboter gemacht, in dem folgenden kleinen Video sieht man wie "gut" (= schlecht) das geht. Ich habe die Koordinaten deutlich gefiltert, deswegen hat das System einen ziemlichen Lag, sonst wäre die Sache zu unruhig (verrauscht) geworden. (Sorry für die stellenweise miese Videoqualität.)



Gruß
Malte