"Mal ne dumme Frage von mir: Wie soll das funktionieren ohne ein Bezugssystem?" --- Wenn ich die Antwort auf diese Frage wüsste, gäbe es den Thread nicht.

Ich versuch es aber noch einmal etwas ausführlicher zu erklären und verzichte lieber auf das Posten von Ansätzen, da eine Rechtfertigung für Verworfenes irgendwie unproduktiv ist.

Der Anwendungsfall ist nicht geheim aber auch ausreichend bescheuert um ihn nicht zu posten, hat aber etwas mit einem Kinderspielzeug zu tun das auch gelegentlich im Zirkus Einsatz findet.
Man nennt die Dinger "Diabolos", die meisten kennen sie wahrscheinlich vom Sehen her.
Wir haben 2 "Stecken" in den Händen deren Spitze unsere Punkte A und B sind.
Da sich der "Spieler" auch bewegen kann wird ein Koordinatensystem schon schwierig, da er auch quer durch Deutschland reist eher unmöglich.
(Mal von der eventuellen Möglichkeit mehrere hochauflösender Kameras und dem Einsatz massiver Rechenleistung abgesehen)
Ziel ist es jetzt die Spitze der 2 Stecken zu erfassen UND die Position des gesteuerten Spielzeuges zu befassen.
Es sind also in Summe 3 Sensorwerte mit jeweils x/y/z (<-- dient lediglich als ANSATZ! wenn eine bessere Idee vorhanden ist, dann her damit!)
Theoretisch existiert also eine "Sichtlinie" aber ich kenne weder ein optisches noch akkustisches System, dass eine derartige Bewegungsgeschwindigkeit unter vertretbarem Technikeinsatz ermöglichen würde.

Mir würde der Ansatz mit der Erfassung der beiden Stecken zueinander vollkommen ausreichen (und ja, hier gäbe es ja einen Startpunkt), ohne den Diabolo selbst zu betrachten.
Und weil mir die Punkte A und B genügen, habe ich den Anwendungsfall nicht gepostet - man wird sich sonst nur in dem 3. Faktor verstricken der nicht Inhalt des Threads ist.

Den "einfacheren" Fall mit brennenden Stäben habe ich schon mit einer Kamera realisiert, erreiche aber eben bei weitem nicht die ausreichende Geschwindigkeit und Präzision und ist der Ansatz nicht transportabel
Auch einen getunten Diabolo hab ich aktuell testweise im Einsatz (erfasse Beschleunigungen in x y z)