Obwohl es in Deiner Beschreibung nicht ganz klar wird, gehe ich davon aus, dass die Kinect und der Gripper auf einem Roboter montiert sind (oder sich in einer sonstigen definierten festen Anordnung befinden).
Die Lage der Kinect auf dem Roboter und die Position des Grippers bezogen auf den Roboter (oder sonstige Basis) lassen sich dann in einem am Roboter (oder an einer sonstigen Basis) „befestigten“ Koordinatensystem darstellen. Du transformierst die mit der Kinect gefundenen Objekt-3D-Daten des Kinect-Koordinatensystems in das Roboter-Koordinatensystem und steuerst die gefundenen Punkte mit dem Gripper an.
Die Transformationsformeln findest Du z.B. im Wiki „Koordinatentransformation“
http://de.wikipedia.org/wiki/Koordinatentransformation
oder etwas ausführlicher hier:
http://services.informatik.hs-mannhe...ormationen.pdf
und an tausend anderen Stellen im Netz.

Gruß,
Günter