Anubis IV - vierbeiniger Laufroboter

[LeeMajors]

Einbindung der Tiefenkamera
Ich benutze eine Intel Realsense D435. Diese hat 2 Infrarotkameras im Augenabstand und einen IR-Laserprojektor, der ein Muster auf die Umgebung wirft. Damit wird in der Kamera eine 3D-Tiefenmap berechnet, deren Pixel quasi in mm den Abstand zur Kamera angibt. Außerdem ist noch ein mittelprächtiger RGB-Sensor verbaut, so dass man auch ein Videobild hat. Leider ganz am Rand, so dass das RGB-Bild nicht dem 3D-Bild entspricht. (Geht auch nicht, weil zwischen den IR-Kameras der IR-Projektor sein muss...)



Diese Informationen werden dann so umgerechnet, dass bei einem Raster (hier 5x5cm) die höchste Stelle gefunden wird. Die Rechnerei ist im Grunde nicht sooo kompliziert, schwierig ist es, das ganze möglichst schnell zu machen. D.h. es wird viel mit Numpy gearbeitet, womit ich mich nicht besonders gut auskenne. Immerhin schaffe ich so 3-4 Durchgänge pro Sekunde, was eigentlich ausreichen sollte.

Der nächste Schritt ist jetzt, Bewegungs- und Orientierungsdaten mit einzubeziehen. Insbesondere wird dann schwierig, die verschiedenen Latenzen von Kamera, Lagesensor und Bewegungsdaten in Einklang zu bringen.

Grüße, Marcus

[morob]

bist du sonst zufrieden mit der d435, das teil liegt bei mir auf dem wunschzettel, grins, für ein größeres projekt, demnächst mehr in diesem forum.

[LeeMajors]

Ich bin damit zufrieden. Die Kamera leistet für ihre inzwischen 180 EUR sehr viel. Für ca. EUR 90 mehr gibt es noch eine Version mit einem BMI055 dazu. Das ist ein Gyro + Beschleunigungssensor. Der ist Teil des BNO055, den es von Adafruit für EUR 50,- gibt. Der Preisunterschied könnte trotzdem gerechtfertigt sein, weil der Sensor vermutlich in der Kamera ausgelesen und mit den Tiefendaten verrechnet wird. Ich hab den BNO055 separat fast genau im Nullpunkt des Roboters über I2C angeschlossen und kann die Daten mit einer Latenz von ca. 0.12s auslesen.

Die Kamera kann sogar selber Punktwolken aus den 3D-Daten berechnen. Leider hat die Umrechnung in Numpy-Arrays so lange gedauert, dass die eigene Berechnung über Numpy schneller war. Die Möglichkeiten sind jedenfalls enorm.

Mir fehlt noch eine intel T265 zum Glück - damit ist relativ genaues Positionstracking im Raum möglich. (EUR 220,-...)

[morob]

ich habe eine 3 punkt konstruktion, als ist die bewegung im raum nicht so wie bei dir
ich weiß aber nicht, welche von den kameras für mich wirklich die besten lösung ist. die t265 hatte ich noch gar nicht auf dem schirm.

[LeeMajors]

Naja, die Kameras machen was komplett unterschiedliches. Die D435 gibt Tiefeninformationen, die T265 gibt Position & Lagedaten. Und wenn man dann noch einen ordentlichen Live-Stream haben möchte, braucht man eigentlich noch eine 3. Kamera...

[morob]

also doch d435 und eine imu noch dazu
an eine zusätzlich kamera habe ich noch gedacht als rpi cam.

ich habe gerade gelesen das es eine d435i gibt, welche die imu schon integriert hat, allerdings ca. 90€ teurer als ohne imu.

hast du ein raspbian auf dem rpi oder ein ubuntu?

[HeXPloreR]

Hallo Marcus,

ich möchte auch mein Lob an Dich abgeben. Dein Anubis ist wirklich sehr gut gelungen =D> - (verneige mich, höchsten Respekt)

Baue bitte diesen Kopf an den Roboter, dann hast du einen "richtigen Wachhund"( https://www.youtube.com/watch?v=mEAz-72ZjKE )

Viele Grüße und bleibt gesund
Jörg