C/C++ Beispielprogramme mit USB Cam und openCV?

[HaWe]

hallo
fühlt sich jemand in der Lage, C/C++ Beispielprogramme mit USB Cam und openCV samt Installationsanleitungen zu schreiben?

Die Programme sollen in der Lage sein, z.B.

Farben auf Bällen zu erkennen
https://www.youtube.com/watch?v=MWK55A0RH0U

die Farbverteilungen auf einem Rubik's Cube zu erkennen wie hier
https://www.facebook.com/groups/lego...6070768207818/

oder Formen auf Schildern zu erkennen wir hier, um daraf zu reagieren:
https://www.youtube.com/watch?v=fns19y9NOpM

alles das ist mit Python wohl recht einfach möglich, es wird aber C/C++ Code benötigt, da alle übrigen (Roboter-)Funktionen ebenfalls in C programmiert werden.
Es geht auch nur um den openCV-Image-Processing-Teil, nicht um die anschließende Reaktion der Machine/des Roboters.

(ergänzt: ) die libs und API wrapper müssen allerdings funktionieren per einfachem
#include <zzzz>
und verlinken mit simplem
make g++ plus -lxxxx und /oder -Izzzz
in einer simplen Kommandozeile, ohne makefile und ohne cmake etc. (also kompatibel zur Geany IDE mit compile/build settings)

Fühlt sich dazu jemand zunächst einmal grundsätzlich in der Lage?
Über die Umsetzung (bezahlt oder ntl gern als Freeware) kann man dann anschließend reden, und ich helfe ntl jederzeit gerne im Rahmen meiner Anfänger-Kenntnisse mit!)

[shedepe]

Hey.
1. Kamera einlesen:
(Auch nur von hier geklaut: http://answers.opencv.org/question/1...rom-my-webcam/)

#include "opencv2/opencv.hpp"
using namespace cv;
int main(int argc, char** argv)
{
    VideoCapture cap;
    // open the default camera, use something different from 0 otherwise;
    // Check VideoCapture documentation.
    if(!cap.open(0))
        return 0;
    for(;;)
    {
          Mat frame;
          cap >> frame;
          if( frame.empty() ) break; // end of video stream
          imshow("this is you, smile! :)", frame);
          if( waitKey(10) == 27 ) break; // stop capturing by pressing ESC 
    }
    // the camera will be closed automatically upon exit
    // cap.close();
    return 0;
}

Alternativ kann man auch -1 für eine beliebige Kamera angeben bei cap.open oder einen Dateinamen für ein Video.

2. Bälle. Dort wurde vermutlich eine Hough Circle Transformation angewendet in Kombination mit einem Farbtreshold.
Hough Circles kann man direkt das Beispiel nehmen: http://docs.opencv.org/2.4/doc/tutor...gh_circle.html
Um den Circle rauszuschneiden: http://answers.opencv.org/question/1...-hough-circle/
Treshold kann man die inRange Funktion verwenden: (Auch geklaut von stackoverflow : https://stackoverflow.com/questions/...mage-in-opencv)

cv::Mat image = cv::imread("bird.jpg"); //Oder eben aus der Video capture einlesen

if (image.empty())
{
    std::cout << "> This image is empty" << std::endl;
    return 1;
}cv::Mat output;
cv::inRange(image, cv::Scalar(0, 125, 0), cv::Scalar(255, 200, 255), output);
cv::imshow("output", output);

3. Das kann tricky sein. Vorgehen ist in etwa so:
Houghlines transformation anwenden. Ergibt Array mit gefindenen Linien.
http://docs.opencv.org/2.4/doc/tutor...ugh_lines.html
Dann iteriert man durch das Array mit linien durch. Schaut wo sich zwei Linien schneiden und ob sie senkrecht zu einander stehen (Steigung * Steigung = -1). Dann hat man ein Array aus Schnittpunkten. Dort sind die Schnittpunkte die jeweils an nächsten zueinander sind Teile eines Rechtecks.
Dann schneidet man wie bei 2. Den Rechteck Teil raus und lässt verschiedene inRange Funktionen drüber laufen (Also einmal für Grün, Gelb,Blau usw.). inRange erzeugt ein Binärbild (Also weiß für Pixel unter dem Treshold, Schwarz drüber). Auf diesem Binärbild zählt man alle Schwarzen Pixel und vergleicht sie mit der Gesamtanzahl von Pixeln des Auschnitts. Wenn mehr als 70% Schwarz sind kann man sagen man hat die Farbe gefunden.

int TotalNumberOfPixels = bwImage.rows * bwImage.cols;
int ZeroPixels = TotalNumberOfPixels - countNonZero(bwImage);

4. Kann man mit Feature Detection probieren. Aktuelle Ansätze würden vermutlich neuronale Netze tranieren. Aber das ist mehr als dir irgendjemand mal schnell coden wird.

Für fertige Beispielprogramme reicht bei mir die Zeit nicht aus zum schreiben. Vorallem besteht 80% der Zeit darin Parameter zu optimieren. Und manchmal muss man verschiedene Ansätze durchprobieren.
Die C++ Api von OpenCv ist aber auch nicht schwerer als die Python API und mindestens genauso gut dokumentiert. Muss man sich halt reinlesen.

PS. Wenn du ROS verwendest kannst du auch ganz einfach die Bildverarbeitung in Python schreiben und den Rest in C/C++

[HaWe]

dankeschön, das sieht ja schon sehr gut aus!

Eine Frage vorher, bevor ich was falsch installiere:

- Muss ich für die Cam (eine alte Logicam USB) vorab Treiber installieren (ggf welche) ?

- nach welcher Installationsanleitung muss ich für openVG vorgehen, inkl welche Zusatzlibs (uv4l ? raspicam ? cv::Mat? oder noch was anders?)
(Ich hatte schon öfters mal falsche Anleitungen im Web befolgt, und hinterher ging gar nichts mehr....)

[shedepe]

Linux oder Windows?

Linux brauchst du keinen Treiber.
Ansonsten apt-get install libopencv-dev

[HaWe]

hey, nein, schon richtig: für den Pi, also für Linux.

Habe es so gemacht, USB cam eingestöpselt, und das allererste Programm versucht zu erstellen,

#include "opencv2/opencv.hpp"
using namespace cv;
int main(int argc, char** argv)
{
    VideoCapture cap;
    // open the default camera, use something different from 0 otherwise;
    // Check VideoCapture documentation.
    if(!cap.open(0))
        return 0;
    for(;;)
    {
          Mat frame;
          cap >> frame;
          if( frame.empty() ) break; // end of video stream
          imshow("this is you, smile! :)", frame);
          if( waitKey(10) == 27 ) break; // stop capturing by pressing ESC 
    }
    // the camera will be closed automatically upon exit
    // cap.close();
    return 0;
}

per Geany compile/build settings wie hier angegeben, aber tonnenweise errors:

g++ -Wall -pthread -I/opt/vc/include -I/opt/vc/include/interface/vmcs_host/linux -I/opt/vc/include/interface/vcos/pthreads -o "camtest" "camtest.c" -lshapes -L/opt/vc/lib -lOpenVG -lEGL -lwiringPi -lrt -lpigpio -lArduiPi_OLED  (im Verzeichnis: /home/pi/programs/cam)

/tmp/ccQSKrEJ.o: In function `main':
camtest.c:(.text+0x68): undefined reference to `cv::VideoCapture::VideoCapture()'
camtest.c:(.text+0x78): undefined reference to `cv::VideoCapture::open(int)'
camtest.c:(.text+0x110): undefined reference to `cv::_InputArray::_InputArray(cv::Mat const&)'
camtest.c:(.text+0x124): undefined reference to `cv::imshow(std::string const&, cv::_InputArray const&)'
camtest.c:(.text+0x144): undefined reference to `cv::waitKey(int)'
camtest.c:(.text+0x198): undefined reference to `cv::VideoCapture::~VideoCapture()'
camtest.c:(.text+0x1dc): undefined reference to `cv::VideoCapture::~VideoCapture()'
camtest.c:(.text+0x1f0): undefined reference to `cv::VideoCapture::operator>>(cv::Mat&)'
/tmp/ccQSKrEJ.o: In function `cv::Mat::~Mat()':
camtest.c:(.text._ZN2cv3MatD2Ev[_ZN2cv3MatD5Ev]+0x3c): undefined reference to `cv::fastFree(void*)'
/tmp/ccQSKrEJ.o: In function `cv::Mat::release()':
camtest.c:(.text._ZN2cv3Mat7releaseEv[_ZN2cv3Mat7releaseEv]+0x58): undefined reference to `cv::Mat::deallocate()'
collect2: error: ld returned 1 exit status
Kompilierung fehlgeschlagen.

wo soll man jetzt anfangen?
Sicher fehlen schon mal eine ganze Menge compile/build parameter.
Aber welche?

[shedepe]

Opencv empfiehlt, dass man CMake als Buildsystem verwendet.
Eine einfache CMakeLists.txt dazu sieht so aus:

cmake_minimum_required(VERSION 2.8)
project( DisplayImage ) 
find_package( OpenCV REQUIRED )
include_directories( ${OpenCV_INCLUDE_DIRS} )
add_executable( DisplayImage DisplayImage.cpp )
target_link_libraries( DisplayImage ${OpenCV_LIBS} )

http://docs.opencv.org/3.1.0/db/df5/...gcc_cmake.html

Bei Project trägt man den Namen des Projects ein.
Bei Add Executable trägt man 1. Den Namen der ausführbaren Datei ein die bei rauskommen soll und 2. Alle cpp Files die verwendet werden soll um diese Executable zu bauen.
Bei TargetLinkLibraries trägt man 1. Den Namen der Executable ein und 2. Alle Libraries gegen die man linken will.
OpenCV wird automatisch durch
find_package( OpenCV REQUIRED ) gefunden.

[HaWe]

cmake kann ich nicht, habe ich nicht und verstehe ich auch nicht.
makefile übrigens auch nicht.
Ich verwende ausschließlich Geany, hier kann man ja auch die compile- und die build-Parameter eingeben.
Mit Geany muss es also schon funktionieren.

[shedepe]

Ja kann es.
Dann musst du dir halt von pkgconfig die Flags geben lassen:
http://image.diku.dk/mediawiki/index.php/OpenCV

Ich würde trotzdem zu einem richtige Buildsystem (Sei es nur ein Makefile) raten, anstatt direkt aus dem Editor den Compiler aufzurufen. Buildsystem haben grade beim Auflösen vom Abhängigkeiten vorteile

[HaWe]

Dann musst du dir halt von pkgconfig die Flags geben lassen:

da hört das Verständnis schon bei mir auf.
welche Flags sind das?
In dem Link sehe ich die Bäume vor lauter Buchstabenwald nicht...

ich werde auch leider totsicher bei Geany bleiben müssen, denn make, makefile und cmake übersteigen meine kognitiven Fähigkeiten...
es soll im Prinzip alles aus der Geany IDE heraus möglich sein, ohne diese integrierten Compile- und Build-Funktionen bin ich restlos verloren (und dazu ist die Geany IDE ja auch da, genau wie eine stark abgespeckte Eclipse oder Visual C Studio -IDE...)

[HaWe]

kann jemand helfen, welche Parameter oder flags man eingeben muss?
sowas in der Art wie -lopencv oder was noch oder was auch immer?