Vision-Erkennung bei Bestückungsautomaten

[einballimwas]

Servus,


nein, natürlich schmeiße ich nicht nur rote LEDs auf die Platine! Die jetzige Kamera hat bei 630nm ihren maximalen Rotwert und die neue Kamera die ich mir ausgesucht habe (monochromatisch) bei etwa 530, also grün. Dem entsprechend überlege ich mir gerade ob und wie ich die LEDs mixen möchte. Vielleicht wird es statt rot auch einfach grün. Das ist das Problem der Farbkameras - zu nichts zu gebrauchen außer um Farbe zu erkennen. Vielleicht ist es wirklich besser keine SMD LEDs zu nehmen - Die THT Bauteile haben einen sehr viel kleineren Abstrahlwinkel, auch wenn mich die Durchstecktechnik ziemlich nervt. Sei es drum, nehme ich eben grüne LEDs - Passt genauso. (Ja, ich habe mich wirklich beim Schreiben der Antwort mitten im Satz umentschieden )
Bin gerade dabei die Bauteile zu platzieren und einen kleinen Microcontroller zu verbauen mit dessen Hilfe dann verschiedene Helligkeiten und Triggermodi eingestellt werden können. Morgen sollte der Blitz fertig sein, dann geht der Auftrag für fünf Platinen direkt raus.

Wieso will ich es so hell? Deswegen: http://placerbot.org/Testsetup/L6470...llax_error.jpg
Selbst mit Blende 14 ist die Tiefenschärfe noch so verdammt gering, dass es keinen Sinn hat, das Bauteil mit der Hand vor die Kamera zu platzieren. Ich möchte in der Lage sein bei Blende 22 ein gut ausgeleuchtetes Bild zu haben - Und selbst dann habe ich einen Fokusbereich von ~ 4mm in dem das Bauteil scharf ist. Viele Kameras sind eben auf Rot empfindlich, daher ist die Farbe ziemlich beliebt.

Die Funktionsweise der Kalibration ist mir klar - alleine die Umsetzung ist das Problem. Ich bin kein Programmierer und habe daher ziemliche Probleme die Library zum laufen zu bringen. Ständig wirft der Linker Fehler weshalb ich auch zu nichts gekommen bin außer hohem Blutdruck. Leider ist es nicht ganz so einfach wie du es dir vorstellst, dass man "nur" zwei Größen vergleicht. Schau dir mal diese Präsentation an, die erklärt das recht gut: http://cvpr.uni-muenster.de/teaching...librierung.pdf
Problematisch wird es dann wenn man noch die Verzerrungen durch das Objektiv herausrechnen "darf". Aber bei knappen 30mm dürfte das schon nicht mehr der Fall sein.

Der Scan nach der Lagekorrektur wäre lediglich zur Bestätigung und Fehleranalyse nötig. Je mehr Punkte man hat um die Position zu verifizieren desto besser. Vor allem am Anfang. Wenn man dann mehr Erfahrung mit der Erkennung hat kann man immernoch die Featureanzahl reduzieren.


Liest eigentlich noch jemand mit und möchte seinen Senf dazugeben? Wäre schön wenn das nicht nur ein Dialog bleiben würde!

[021aet04]

Ich lese interresiert mit, kann aber leider nichts dazu beitragen. Ich werde auch in näherer Zukunft keinen Automaten bauen. Habe noch zuviel andere Dinge fertig zu stellen und benötige zurzeit auch keinen.

Wenn ich weiterhelfen kann werde ich es auch machen, habe aber mit Kameras bzw deren Auswertung noch nichts gemacht, leider.

MfG Hannes

[Slowly]

Brauchst Du so etwas hier ?

Oder sowas?

[021aet04]

Danke für das Angebot, brauche es aber nicht. So ähnliche IR Module habe ich Zuhause, Kameras habe ich auch, sind aber normale Webcams. Die reichen finden den Anfang. Muss aber wie gesagt noch einiges fertig machen.

Werde es aber weiterhin interresiert mitverfolgen.

MfG Hannes

[einballimwas]

Finde ich wirklich schön, dass da noch Leute mitlesen!

Zwischenstand heute:

OpenCV läuft nun mit dem VisualStudio und ich konnte ein paar Tests machen. als Ausgangsbild habe ich die vorhandenen Bilder genutzt. Das Farbbild wird in ein Graustufenbild gewandelt welches dann auf zwei Farben umgesetzt wird. Dazu nutze ich momentan einen festgelegten Threshold der dann im fertigen Programm irgendwann in der Kalibrierung automatisch ermittelt werden soll. auf das Bild wende ich dann die Kantendetektion an, die mir über die Matrix eine halbwegs gerade Linie zieht. Resultat:

Graustufen: http://placerbot.org/OpenCV_test/L64...front_grey.jpg
Graustufen mit Sobelfilter (Nicht verwendet, nur zur Anschauung): http://placerbot.org/OpenCV_test/L64...grey_sobel.jpg
Schwarzweiß mit Threshold 120/255 : http://placerbot.org/OpenCV_test/L64...blackWhite.jpg
Sobel über SW Bild: http://placerbot.org/OpenCV_test/L64...hite_sobel.jpg

Wenn man den Chip richtig beleuchtet und das Lineal wegnimmt (ohne das stand der Chip leider nicht - die Nozzle wird schon alleine aufgrund der Schärfentiefe nicht mehr zu sehen sein) dann lässt sich da einiges machen. Ich muss sagen dass ich sehr zufrieden mit dem Ergebnis der Spielerei bin. Hätte mit diesem schlechten Ausgangsbild nicht annähernd so gute Ergebnisse erwartet.

Für die Erkennung muss man sich dann noch die Region of Interest (ROI) heraussuchen und eine Beschreibungsdatei plus zugehöriger Datenstruktur ausdenken. Dann kann es an die Centroid Detection und den Algorithmus zur Kantendetektion gehen. Vielleicht hat OpenCV da auch etwas in Petto das ganz gut funktioniert. Das würde es um einiges einfacher machen! Später ist erstmal der Blitz dran

Code (Schlimm, ich weiß - War aber sehr auf Ergebnisse erpicht!):

    // Matrices to store the image file    
    Mat original, greyScale, blackWhite, sobelImg, blackWhiteSobel;


    // Params to save the images as jpeg
    vector<int> jpegParams;
    jpegParams.push_back(IMWRITE_JPEG_QUALITY);
    jpegParams.push_back(100);
    string fileName = "examples/L6470_light_front.jpg";


    // Read the input file
    original = imread(fileName);
    cvtColor(original, greyScale, COLOR_RGB2GRAY);


    //Save greyScale image
    imwrite("output_grey.jpg",greyScale,jpegParams);


    blackWhite = greyScale > THRESHOLD;
    namedWindow("Converted to BW image", WINDOW_AUTOSIZE);
    imshow("Converted to BW image", blackWhite);
    imwrite("output_blackWhite.jpg", blackWhite, jpegParams);


    Sobel(blackWhite, blackWhiteSobel, blackWhite.depth(), DERIVATIVE, DERIVATIVE, SOBELSIZE, 1, 0);
    namedWindow("Sobel applied to BW image", WINDOW_AUTOSIZE);
    imshow("Sobel applied to BW image", blackWhiteSobel);
    imwrite("output_blackWhite_sobel.jpg", blackWhiteSobel, jpegParams);


    
    Sobel(greyScale, sobelImg, greyScale.depth(), DERIVATIVE, DERIVATIVE, SOBELSIZE, 1, 0);
    imwrite("output_grey_sobel.jpg", sobelImg,jpegParams);




    waitKey(0);


    return 0;

[Holle]

Wow, das kann sich doch sehen lassen. Ich würde gerne mithelfen, aber dazu brauche ich auch eine Kamera, welche dazu geeignet ist. Meine USB-Mikroskop-Kamera wäre von der Qualität her schon recht gut, aber wie triggere ich da das Bild? Die Windows-Software nutzt mir da ja nichts und eine API gibt es dafür anscheinend keine.

@Slowly
Was ist da für ein Objektiv drauf? Eignet sich die Kamera zur Bauteil-Erkennung?
Was hat die für Anschlüsse?
...und das wichtigste: Was verlangst du dafür?

[einballimwas]

Habe meine Bestrebungen jetzt auf Matlab verlegt. Da geht das ganze einiges schneller... Habe ein bisschen mit der Hough Transformation gebastelt um den Winkel des Bauteils auszumachen. Das funktioniert schonmal ganz gut. Jetzt muss noch der Support Code drumrum geschrieben werden und dann geht es an die Boundaries der Bauteile. Wenn das steht, dann kommt noch ein Templatematching davor um zu erkennen ob es sich auch um das richtige Bauteil handelt. Dann ist die Phase abgeschlossen und der Demonstrator kann um Schrittmotoren zur Korrektur erweitert werden!

Bild hier  

Stay tuned for more! Das wird noch was