Da es um feste, unbewegliche Objekte geht, kommt mir folgende Idee:

Du hast zwei Tiefenmaps.
Du kennst die Geschwindigkeit mit der sich Dein Roboter bewegt.
Damit kannst Du anhand der ersten Tiefenmap und Deiner Geschwindigkeit eine erwartete Tiefenmap erstellen.

Objekte die nicht dem Erwartungswert entsprechen fallen schon mal raus (die bewegen sich und sind damit nicht die Steine).

Dann interessieren nur noch die verbleibenden Objekte. Dazu kannst Du im ersten Bild Kandidaten extrahieren (über einen beliebigen Algorithmus, z.B. labeling) und mit der Bounding Box der Kandidaten eine Kreuzkorrelation im zweiten Bild durchführen. Die Koordinate der höchsten Korrelation ist dann die Position des Steines aus dem ersten Bild.

Das kannst Du dann sukzessive für die anderen Kandidaten durchfürhren.

Das Ganze hat natürlich auch Nachteile:
Speicherbedarf
Rechenleistungsbedarf (Pixeloperationen sind halt teuer).