Momentan kann ich noch nix wirklich empfehlen. Ich will in den nächsten Tagen mal OpenCV und die LTIlib intensiver ansehen und vergleichen.
OpenCV ist aber sehr weit verbreitet, kann also nicht total schlecht sein.

Was soll dein Algorithmus "auswerten"? Disparity / Entfernungsinformationen für jeden Pixel im Bild?