An Spieler: Annäherung an eine Computer-Gehirn-Schnittstelle

**novindbn** · 30.03.2009, 21:13

Ich bin Kampfsportler und befinde mich momentan in einer längeren Trainingspause. Jetzt habe ich mir überlegt, daß ich die Bewegungen, die ich normalerweise im Kampfsport verwende, also zum Beispiel den Kniestoß, den Roundhousekick und so weiter doch auch nutzen könnte um ein Computerspiel, das Nahkampfsequenzen beinhaltet, zu steuern.

Ich habe mir überlegt, wie die Elektronik aussehen muß, die eine sehr gute Körperbewegung-Spielfigurbewegung-Relation herstellt.

Meine erste Überlegung war, an allen Gelenken entsprechende Elemente anzubringen, die die Position im Raum bestimmen, und diese Daten anschließend per Funk an den Computer weiterzuleiten. Anschließend führe ich die Bewegungen aus, während alle Daten gleichzeitig vom PC aufgenommen und gespeichert werden. Nun weise ich diese Daten bestimmten Tasten oder Mausbewegungen zu. Bevor ich weiter in diesem Bereich kam, fand ich die Gehirn-Computer-Verbindungshardware.

Ich habe mir überlegt, ob es nicht einfacher ist die Bewegungen, die ja sowieso ein Äquivalent im Gehirn beziehungsweise in den Gehirnsströmen haben, indirekt auszulesen, indem ich die Software von dieser Hardware etwas bearbeite um so direkte Daten zu bekommen. Ich würde also, wie oben, die Bewegungen ausführen und schauen, welche Daten dieses Meßgerät dabei messen kann. Anschließend würde ich diese Daten, mit einer gewissen Toleranz natürlich, wiederum einer Taste beziehungsweise einer Mausbewegung zuordnen.

So würde ich mich, verbunden mit dem - zugegeben leichte Horrorvisionen hervorrufenden - Gerät in Kampfposition begeben, oder drei, vier Meter laufen, und die Spielfigur auf dem Bildschirm dasselbe tun sehen.

Wie seht ihr das, welche Entwicklungen wurden bereits in diesem Bereich gemacht beziehungsweise was seht ihr als einfacher an?

Dieses Projekt habe ich auf sehr lange Zeit angelegt, sofern ich es überhaupt realisiere. Das soll ersteinmal nur eine geistige Konstruktion sein.

**yaro** · 30.03.2009, 21:59

Naja......das Gerät selber weiterzuentwickeln ist schon sehr gewagt....wahrscheinlich ist das garnicht so leicht, wie du es dir vorstellst, denn die Entwickler von dem Teil sind auch nicht so blöd, und habens dennnoch nicht so weit geschafft.

Die andere Idee ist schon eher praktikabler, da gibt es auch schon Vorgänger für.
Die Schwierigkeit wird wohl die Positionsbestimmung im Raum sein.....
Am einfachsten währe es wohl mit Kameras getan, deren Programmierung allerdings kein Kinderspiel. Wenn du nicht richtig gut im programmieren bist, sollte das sehr schwer werden.

Das, was du tatsächlich verwirklichen könntest ist, dir mit ein wenig Mechanik sowas wie "winkelmesser" an deine Gelenke basteln, die ein Poti drehen und über dieses ausgelesen werden könnten. Wirst zwar wahrscheinlich einen externen ADC brauchen, aber das sollte kein problem darstellen.

Wenn du wirklich vor hast, sowas zu verwirklichen, dann bin ich sehr gespannt, was daraus wird.

Viel Erfolg

**oberallgeier** · 30.03.2009, 22:11

Hi,

Zitat von novindbn

... Bewegungen, die ja sowieso ein Äquivalent ... haben, indirekt auszulesen ...

Das ist ja nicht soo weit hergeholt. Die Forschung (und z.T. die Entwicklung) auf diesem Sektor ist ziemlich aktiv - auch wenn nicht alles was gemacht wird, veröffentlicht wird. Sensorik, Sensorapplikation und Signalauswertung ist vielleicht etwas anspruchsvoll.

Zeitgerecht zu Deinem Posting ist hier ein hübscher Artikel - der Link dürfte aber nur temporär korrekt sein. Kauf Dir vielleicht das Aprilheft vom Spektrum der Wissenschaft, das ist die deutsche Ausgabe des SCIENTIFIC AMERICAN (ich hatte es gerade heute reinbekommen). Aber Du kannst ja hier mal reinschmecken (Titel : LOG-IN ins GEHIRN ... also weiterblättern bis diese Seite kommt).

**Netzman** · 30.03.2009, 22:30

Sogenannte BCIs (Brain-Computer-Interfaces) dürften wohl für einen Privatmenschen sehr schwer zu realisieren sein, sowohl von der finanziellen als auch von der wissenschaftlichen Seite.
Üblicherweise werden die Signale mit handelsüblichen EEGs aufgenommen (hier fängts schon an mit den Kosten :P), digitalisiert, der Datenstrom von mehreren MB/sec mit verschiedensten Filterstufen herruntergerechnet und in der letzten Phase ausgewertet, wo wiederrum mit verschiedensten Methoden (u.a. neuronale Netzwerke), spezifische Muster herrausgefiltert werden.
Das erfordert alles in allem einiges an Know-How, das wohl selten in einer Person gebunden ist.
Ich will dich ja nicht demotivieren, wenn du meinst du würdest das schaffen, freue ich mich auf deine Ergebnisse

Für deinen Einsatzzweck dürfte aber ein MotionCapture-System, wie seit jahren erfolgreich in der Filmindustrie eingesetzt, geeigneter sein.
Die Hardware ist recht übersichtlich - 2 Kameras (am besten IR, mit normalen gehts aber auch), IR-Scheinwerfer und strategisch am Körper platzierte Reflektoren.
Wie du das software-seitig auswertest hat zb. Vohopri bei seinem Fahrzeug gut dokumentiert.
Dann noch ein paar trigonometrische Berechnungen aus den 2 Kamerabildern um ein 3D-Modell der Bewegung zu erhalten und "das wärs auch schon"

mfg

**novindbn** · 30.03.2009, 22:51

Nun, es gibt das Gerät ja schon und 400DM sind nun auch nicht so teuer. Fraglich ist, ob die Punkte an der Stirn auch geeignete Punkte sind. EEGs haben schließlich Elektroden am gesamten Kopf, nicht nur der Stirn.

Aber um ab und zu zu spielen, extra Reflektoren am ganzen Körper anzubringen - da fehlt mir jetzt schon die Motivation.

Ich denke, entweder ein BCI oder ein Baustein, der sowohl Abstand zum Sensor am PC in X & Y sowie der Höhe mißt. Die Höhenunterschiede können über einen sehr genauen Luftdrucksensor gemessen werden. Es darf aber nicht über Sichtkontakt passieren, denn was passiert, wenn ich mich umdrehe und der Sensor abgewendet ist.

BCI stelle ich mir am leichtesten vor. Helm aufsetzen und los geht es.

Problem bei allen Modellen: Was ist mit der Bewegung? Wie bringe ich der Figur natürlich das Laufen bei ohne mich selbst weiträumig zu bewegen? Es ist schließlich eher Step-Aerobic als Augmented Reality; der PC ist letztlich stationär wie auch der Bildschirm.

**thewulf00** · 31.03.2009, 10:37

Wenn es Dir bereits bei der Reflektorenanbringung an Motivation fehlen würde, dann wirst Du Dein 400DM (oder Euro?) -Teil sehr schnell hinschmeißen.
Glaub doch den Leuten hier auch mal was. Alle sagen dasselbe.

**novindbn** · 31.03.2009, 15:44

Ich habe erste Testreihen mit einigen Bewegungen. Jetzt könnte ich fragen, welche Bewegung es war, aber ich glaube nicht, daß irgendjemand dies aus diesem Diagramm herauslesen kann.

Mir wurde klar, daß das System, das die Bewegung umrechnen soll, nicht bis zum Ende warten kann. Sonst schlage ich und erst nachdem ich fertig bin, schlägt die Spielfigur.

Also muß vermutet werden, wie die Bewegung endet. Kann dieser Prozeß automatisiert werden, ich denke ich bin nicht der erste, der Zahlen erraten möchte.

Der schwere Weg wäre, jeden Wert mit dem aktuellen Wert zu vergleichen und bei einer Abweichung überhalb eines gewissen Toleranzbereiches zu erkennen, daß diese Bewegung nicht durchgeführt wurde.

Das stelle ich mir sehr inperformant vor. Ideen, das effizienter anzugehen?

**novindbn** · 31.03.2009, 19:03

Weiterer Fortschritt:

Mir ist aufgefallen, daß in OpenCV eigentlich alles da ist: Einmal hat einer eine Gestenerkennung kreirt, dann eine Augenbewegungserkennung, dann eine Kopfpositionserkennung, aber keiner hat jemals dran gedacht, kurz den anderen zu fragen beziehungsweise alles zu kombinieren.

**Netzman** · 31.03.2009, 19:33

Ich will dir ja wirklich nicht den Wind aus den Segeln nehmen, aber du verfolgst einen grundsätzlichen Denkfehler. Du rechnest mit den Signalen die an die Muskeln gehen und willst dann die resultierende Bewegung daraus errechnen, das hat schon mal systembedingt eine Verzögerung und nicht wirklich was mit einem BCI zu tun. Muskelsignale kann man auch einfach mit Körperelektroden aufzeichnen.
Was du eigentlich machen willst, ist den Gedanken, der zu der Bewegung führt, zu erkennen. Dafür brauchts schon mal recht viele nicht-invasive Elektroden um eine einigermaßen brauchbare Auflösung aktivierter Hirnareale zu erhalten, besser wären implantierte Platinelektroden.
Um diesen Datenstrom dann mal herunterzufiltern um brauchbare Erkenntnisse daraus zu ziehen, brauchts schon mal ordentlich Rechenpower. Hier werden keine Desktop-PCs mehr verwendet. usw blabla, es ist um Größenordnungen weniger Aufwand ein MotionCapture-System komplett zu entwickeln und 10x täglich in den Reflektoranzug rein- und rauszuhüpfen als ein BCI ohne erhebliche Forschungsmittel und Know-How auch nur ansatzweise zum laufen zu bekommen.

mfg