Vision-Erkennung bei Bestückungsautomaten

[einballimwas]

Zwei Jahre und das Thema hat mich nicht losgelassen ..

Ich lasse die Bilder mal hier unkommentiert stehen. Weiteres folgt sobald fertig.

http://placerbot.org/Testsetup/L6470_light_front.jpg
http://placerbot.org/Testsetup/L6470_test_setup.jpg

~30mm/f14

Nächste Schritte: Testgestell mit Profilen und Werkzeughalter aufbauen. Softwareseitig OpenCV mit MSVC2013 kompillieren und OpenGL zum laufen bringen.

[Holle]

Oha, darf ich mal fragen was die Kamera gekostet hat?
Mich würde mal interessieren ob OpenCV auch mit einer Mikroskop-Kamera laufen würde. Wäre das schnell genug?
Den Focus kann man ja mit der Z-Achse regeln, da man ja weiß wie dick das Bauteil ist.
Ich muß gestehen dass dieses Thema bei mir eingeschlafen ist, aber interessiert bin ich daran immer noch. Allerdings wäre ich eher an einer low budget lösung interessiert als an einen professionellen Bestücker, da ein gebrauchter professioneller Bestücker schneller ist als wir das jemals selber bauen könnten und zudem wäre der auch billiger, als wenn man alles selber baut.
Mich würde das aber als technische Herausforderung reizen.

[einballimwas]

Die Kamera mit Objektiv etwa 800€. Dass du dich meldest hätte ich ehrlich gesagt als letztes erwartet. Ich schreibe morgen noch ein bisschen mehr dazu wenn gewünscht?

Willkommen zurück an Bord

[Holle]

Ja, das ist gewünscht
Bin mal gespannt was du da bisher so gebastelt hast.

[einballimwas]

Grundsätzlich habeich noch nicht viel erreicht. Bis dato habe ich versucht an eineKamera zu kommen. Wenn der nächste Lohn da ist wird aber ein kleinesTestsetup gebaut welches mir die chips in x,y und z Richtungverschieben kann und dazu noch drehbar ist. Da das ding kaum Lastaufnehmen muss kann man auch auf günstigere Profilschinenezurückgreifen, zum Beispiel die hier: http://openbuildspartstore.com/v-slot-20-x-20mm/

Damit soll dann dasLichtsetup überprüft werden und die Algorithmen zur Erkennung desBauteils und der Rotation. Zusätzlich versuche ich mir mal ein paarDatentypen zu überlegen die die Templates zur Erkennung undAusrichtung aufnehmen können. Wenn das dann klappt kann es an dieKonstruktion der Maschine gehen. Möchte vorher aber noch einenWrapper schreiben, der das Kamerainterface abstrahiert damit jedereinen eigenen Treiber schreiben kann und auf standardisierteFunktionen zurückgreifen kann um seine eigene Kamera einzubinden.

Gestern Abend habeich OpenCV noch einmal selbst kompilliert und zum laufen gebracht.Wieso das nicht lief weiß ich nicht so genau – Im Endeffekt wirdes wohl an den Unterschieden in der Microsoft Runtime liegen – Qtwurde mit dem Compilerswitch /MD kompilliert und OpenCV mit demSwitch /MT. Dem entsprechend bin ich noch nicht wirklich weit.

Der Fokus liegtjetzt erstmal auf der Mechanik und die Ansteuerung – Heute Abendsetze ich mich noch einmal an den Code und baue ein git Repositoryauf in den das ganze Zeug dann kommt. Über die Aufteilung bin ichmir allerdings auch noch nicht im klaren.

Im Gegensatz zu 2012 ist das Ziel aber klarer, das Projekt segmentierter und damit bewältigbar!

[Holle]

Na ja, der schwierigste Teil war ja sowieso die Bauteilerkennung.
Das mit der Ansteuerung sehe ich eher gelassen.
Hast du es mit deiner Kamera schon geschafft das Bauteil "zu erkennen" ?
Wie legt man mit OpenCV Shapes an, welche die einzelnen Beine, usw. erkennen?

[einballimwas]

Wie weit bin ich? Puuh, die Frage lässt sich gerade nicht so leicht beantworten. Momentan kämpfe ich um die Integration von OpenCv und OpenGL in ein Qt Programm. Von einer Bildbearbeitung geschweige denn Erkennung von Bauteilefeatures bin ich noch weit entfernt. Parallel dazu versuche ich LEDs für einen Blitz auf eine Platine zu bringen und ein Arduino Programm zu schreiben dass das mit der Beleuchtung klappt. Die LEDs werden heftig übersteuert um genug Licht für ein paar Milisekunden zu produzieren damit die Kamera es hell genug für saubere Bilder hat. LED Typ ist dieser hier: http://de.farnell.com/osram/lr-t67f-...rot/dp/2113954 Um die Stromversorgung muss ich mir noch Gedanken machen. Eigentlich möchte ich die LEDs stromgesteuert betreiben aber wie ich die LEDs parallel schalte ohne eine zu zerstören ist mir noch nicht bewusst. Vielleicht ist es sinnvoller LED Stränge zu bilden und diese dann parallel zu schalten.

Erst einmal ist es wichtig, die Kamera zu kalibrieren. Das wird der erste Schritt sein sobald ich die Klasse für meine Kamera fertig habe. Ausgangspunkt ist dieses Kapitel das du dir durchlesen kannst: http://docs.opencv.org/doc/tutorials...libration.html

Damit ist es dann möglich Pixelkoordinaten in reale Maße umzurechnen und ein Koordinatensystem aufzubauen.Zur Detektion selbst: Das Bild kommt als Farbbild bei mir an und muss erst einmal in ein Graustufenbild umgewandelt werden. Dazu werden alle drei 8bit Kanäle summiert, der Alpha Kanal weggeworfen weil er nicht benötigt wird. Dann wird der Mittelwert gebildet. Im Endeffekt ist es die Summe der Kanäle durch Kanalanzahl: (B+G+R)/N(BGR).

Damit haben wir ein Graustufenbild mit welchem wir dann eine Kantendetektion machen können. Hierfür gibt es den Sobel Operator:http://de.wikipedia.org/wiki/Sobel-Operator Alternativ kann man auch diese Funktion hier nehmen - http://docs.opencv.org/modules/imgpr...eaturestotrack . Was besser funktioniert muss noch ausgetestet werden.

Wenn die Kanten detektiert bzw gehighlighted sind werden Punkte herausgesucht anhand derer Linien um die Kanten des Bauteils gezeichnet werden können. Dadurch entsteht ein Rechteck dessen Mitte wir bestimmen können. Ab dem Punkt arbeiten wir nur noch mit Vektoren im kartesischen Koordinatensystem. Mit dem Mittelpunkt können wir den Versatz zum Ursprung (Bildmitte) berechnen und diesen in die Pfadplanung für die Bewegung der Maschine einplanen oder im Testaufbau ins Maschinenkoordinatensystem umrechnen, damit dann die Ausrichtung korrigieren und mit einem zweiten Bild überprüfen ob die Berechnungen korrekt waren. Dafür werden allerdings schon Motoren und so weiter benötigt. Die kommen erst Mitte/Ende des Urlaubs, werden also frühestens Ende März fertig gebaut sein.

In den folgenden Tagen versuche ich noch ein paar gute Bilder mit verschiedener Beleuchtung und ohne Parallaxenfehler zu machen um ein paar Trockenläufe testen zu können. Die Bildquelle ist dann direkt ein JPEG Bild. Welcher Weg gegangen werden soll ist mir noch nicht wirklich klar, da ich mit Bildverarbeitung bis jetzt absolut nichts praktisches gemacht habe und somit auch keine Erfahrung habe. Zudem birgt OpenCV noch einige Geheimnisse die entschlüsselt werden wollen (Welche Funktionen gibt es, was tun sie im Detail, etc). Dafür habe ich mir ein Buch gekauft das in ein paar Tagen hoffentlich ankommt.