Ja kann es.
Dann musst du dir halt von pkgconfig die Flags geben lassen:
http://image.diku.dk/mediawiki/index.php/OpenCV

Ich würde trotzdem zu einem richtige Buildsystem (Sei es nur ein Makefile) raten, anstatt direkt aus dem Editor den Compiler aufzurufen. Buildsystem haben grade beim Auflösen vom Abhängigkeiten vorteile