Vision-Erkennung bei Bestückungsautomaten

[Holle]

Okay, mittlerweile habe ich alles zusammen, was man für die Steuerung braucht: 4 Achsen Endstufen, die eigentliche Numeric Control, Strom (48V @ 12A), einen Embedded Rechner, der noch mit dem Touchscreen verheiratet werden muss um einen PanelPC zu bilden. Zwei Bleche um die Netzteile festzumachen fehlen und die Frontplatte fehlen auchnoch. Hat ein wenig länger gedauert aber dafür habe ich nix zahlen müssen

Oha. Da du längere Zeit nicht mehr hier warst dachte ich erst du hättest das Interesse verloren. Ich habe mich deswegen anderen Projekten gewidmet und den DIY-Bestücker erst mal links liegen lassen. Nun hänge ich weit zurück, da ich nichts weiter gemacht habe. In den kommenden 2 Wochen werde ich auch nichts schaffen, weil ich Urlaub habe und dieser schon verplant ist. Danach werde ich jedoch versuchen schnellstmöglich wieder aufzuholen

Nachdem wir die Maße festgelegt haben, werde ich mich in nächster Zeit einmal ans CAD setzen und einen Prototypen zu entwerfen. Das wird blöderweise etwas länger dauern, da ich in den Semesterferien - die ich eigentlich für die Prototypenentwicklung eingeplant hatte - ein Praktikum in der Schweiz mache, das mir mehr oder weniger in den Schoß geflogen ist. Nichts desto trotz verfolge ich weiterhin das Ziel, den Hardwareaufbau bis zum Ende des Jahres weitestgehend fertig zu haben.

Nicht schlimm, dann habe ich wenigstens etwas Zeit um "aufzuholen"

Das Vision System fehlt hier noch. Ich würde dich bitten, mal nach den Kameratypen zu schauen, die ihr in der Firma benutzt. Ich habe die Befürchtung, das man mit einer Webcam nicht wirklich weit kommen wird. Daher habe ich mich mit einem Freund kurzgeschlossen, der sich darauf "spezialisiert" hat. Er leiht mir erst einmal ein professionelles System, damit ich testen kann, wie sich das ganze verhält (Treiber, C-Mount Objektiv, Befestigung, Anschluss, Performance, etc .. ).

Da müssen wir 2 Wochen warten, da ich gerade Urlaub habe. Aber diese Kameras sind für uns etwas "oversized". Da "huschen" 10 Köpfe in einer Sekunde drüber. In dieser Sekunde werden 10 Fotos geschossen und ausgewertet. Da wir nur einen Bestückkopf verwenden und es bei uns auch nicht um Zehntel Sekunden geht wäre so eine Kamera also absolut unnötig. Die kosten ein Vermögen und würden sich in unserer Maschine zu tode langweilen.
Ich denke dass eine fest installiere Webcam ausreichen müsste. Eine normale Webcam ist vom Blickwinkel ungeeignet, aber es gibt für wenig Geld "Mikroskop-Webcams", die sollten eigentlich sehr gut geeignet sein. Die Profimaschinen machen die Fotos im "vorbeilaufen", das geht mit einer Webcam natürlich nicht, aber auf diese Sekunde sollte es auch nicht ankommen.

Habe auch schon eine Küchenarbeitsplatte bestellt, die farblich ins Zimmer passt. Bedeutet ich habe 3 Meter mehr Arbeitsplatz (90cm tief) und damit auch einen guten Stand- und Bastelplatz für die Maschine.

Da hast du mir gegenüber einen klaren Vorteil. Ich habe hier nur einen kleinen Wohnzimmertisch und den Fußboden

Mit den Audio Endstufen sei mal vorsichtig. Das wird nichts.

Ja, da hast du Recht. Das Thema habe ich inzwischen auch schon wieder verworfen.

[Holle]

Nochmal zum Thema Kamera...
Die von mir erwähnte Mikroskop-Webcam (USB-Mikroskop) musste nun für ein paar Tests herhalten.
Hier ist der Testaufbau:


Die zu testenden Bauteile:


...und das kam bei rum:
Diode
...weiter Bauteile im nächsten Beitrag (es sind nur 5 Bilder pro Beitrag erlaubt)...

[Holle]

TAKO-A
Quarz
DPAK
Stecker(Teilansicht Links)
Stecker(Teilansicht Rechts)

[Holle]

Wie man beim Stecker schon sieht müsste man dafür 2 Teilbilder verwenden. Das ist jedoch auch nicht die ideale Lösung, denn spätestens beim großen BGA oder QFP müsste man mehrere Fotos "kacheln".
Nun würde ich da vorschlagen dass wir 2 Kameras verbauen. Eine so wie im Versuchsaufbau. Die andere halt weiter weg fokussiert.
Da man die USB-Mikroskop-Kamera ja zoomen kann habe ich das gleiche nochmal "weiter weg" gemacht.
Neuer Versuchsaufbau:


Damit sieht das Ergebnis dann so aus:
Stecker
DPAK
TAKO-A
SOT-89

[Holle]

DIP14-7SMD...das verbogene Bein kann man wunderbar erkennen.
Wie man hier schon erkennen kann ist mit dieser Kamera beim DIP14 schon wieder Schluss (ok, etwas hätte ich noch raus zoomen können, aber nicht mehr viel). Die Kamera für große Bauteile müsste also ein etwas größeres Sichtfeld haben, aber für die kleinen Bauteile eignet sich die USB-Mikroskop-Kamera schon recht gut. Leider habe ich gerade kein 0402´er zum testen hier, aber ich habe den TAKO-A mal etwas "vergrößert", das sieht dann so aus:


Die Fokussierung erfolgt normalerweise direkt an der Kamera. Wenn man diese jedoch auf eine bestimmte Entfernung einstellt kann man den Rest ja mit der Nozzle machen.
Mal angenommen, man hat ein BGA in einer Package-Größe von 30x30mm. Da müsste man ja die große Kamera für nehmen...
Wenn der BGA nun jedoch ein Pitch hat von 0,4mm und ein Ball-Durchmesser von 0,2mm, dann könnte es sein dass die Auflösung nicht mehr ausreicht um alle Balls zu erkennen. Obwohl, blödes Beispiel, ohne 3D-Kamera sehen wir eh nicht ob ein Ball fehlt, es sei denn das Pad fehlt ebenfalls.
...aber nehmen wir mal an wir haben ein QFP mit einem sehr feinen Pitch. Die Große Kamera könnte es vielleicht nicht mehr erkennen wenn ein Bein etwas krumm ist (das Problem haben auch die professionellen Maschinen). Nun könnten wir in dem Fall die kleine Kamera nutzen und "gekachelte Fotos" machen. Diese Funktion haben nicht einmal die professionellen Maschinen (ich kenne zumindest keine die das könnte).

[einballimwas]

Vielen Dank für deine Versuche!

Ich habe länger mit meinem Professor gesprochen und habe Bilder im Internet gewälzt. Wie du siehst, ist das USB Mikroskop zwar ausreichend für kleine (0402 bis vllt D2PAK) Bauteile, aber für größere absolut nicht zu gebrauchen. Meine Situation ist grundlegend anders als deine. Ich habe kein Problem damit, 2000-5000 Euro in ein Vision System zu stecken - Dann dauert es eben länger als nur ein Jahr das Ding zu bauen - Wen stört's (ausser mich natürlich)? Der Lerneffekt ist auf jeden Fall da.

Nachdem ich erkannt hatte, dass die Industrie auch nur mit Wasser kocht (Phew! *Stirn abwisch*) und telezentrische Objektive mit Kameras jenseits der 3MP als stationäre Kameras einsetzt, Laserabtastung bei BGA und die Kopfkamera einen RIESEN Sensor hat, um diese kleinen Bauteile so gut zu erkennen, bin ich zum Schluss gekommen, das auf jeden Fall große Einschränkungen im Bereich der Vision Systeme gemacht werden müssen. ein QFP100 passt in 23.4mm, weshalb ich die maximale Objektgröße auf 24mm festgelegt habe. Damit lassen sich bei genügend hoher Auflösung auch noch die kleinen Bauteile korrigieren. doch ich denke, 0402 wird unmöglich sein, ohne eine Mikroskopkamera. Ohne Laserscanner ist BGA auch eher unmöglich - Der Bottleneck ist einfach das Vision System und nicht die Maschine. Ein riesengroßes Problem stellt noch der Parallaxenfehler dar, also die Verzerrung des Bildes bei kleiner Brennweite, die auf jeden Fall nötig wird. Ich sage es gleich: Hier werden wir auf keinen gemeinsamen Nenner kommen, was letztendlich aber egal ist, denn OpenCV unterstützt beides: USB Kamera, FPGA Capture Karten und andere professionelle Vision Systeme. Ich plane lediglich ein wenig mehr Platz für eine größere, bzw zweite Kamera ein.

Nachtrag: Oder so: Zwei Ecken angucken und dann korrigieren - http://www.youtube.com/watch?v=-u_CkC2CDhU&t=60s

[Holle]

Oh man, da tippe ich mir in der Nacht die Finger wund und als ich auf Absenden klicke passiert nichts. Zum Glück habe ich noch schnell den Text kopieren können bevor "Seite nicht gefunden" meinen Text ersetzt .
Kabel Deutschland war (zumindest bei mir) ausgefallen, aber nun geht´s ja wieder. Also hier ist der Text:

Wie du siehst, ist das USB Mikroskop zwar ausreichend für kleine (0402 bis vllt D2PAK) Bauteile, aber für größere absolut nicht zu gebrauchen.

Richtig, für größere Bauteile ist ein "Mikroskop" nicht geeignet. Es gibt aber sicherlich günstige Kameras die diesen Zweck auch passabel erfüllen.

Meine Situation ist grundlegend anders als deine. Ich habe kein Problem damit, 2000-5000 Euro in ein Vision System zu stecken - Dann dauert es eben

länger als nur ein Jahr das Ding zu bauen - Wen stört's (ausser mich natürlich)? Der Lerneffekt ist auf jeden Fall da.

Ui, da muss ich passen. So viel Geld investiere

ich auf keinen Fall in ein "Hobby-Projekt". Der Lerneffekt wäre mit billigen Kameras jedoch genauso gegeben.

Nachdem ich erkannt hatte, dass die Industrie auch nur mit Wasser kocht (Phew! *Stirn abwisch*) und telezentrische Objektive mit Kameras jenseits

der 3MP als stationäre Kameras einsetzt, Laserabtastung bei BGA und die Kopfkamera einen RIESEN Sensor hat, um diese kleinen Bauteile so gut zu erkennen, bin ich zum Schluss

gekommen, das auf jeden Fall große Einschränkungen im Bereich der Vision Systeme gemacht werden müssen.

Bei den Panasonic-Maschinen (z.b. MSF und BM) sind auch

"riesige Bauteilkameras" verbaut. Das hat damit zu tun dass diese Maschinen auch große Bauteile setzen können (BGA, Stecker, usw.). Wenn ich damit nun ein 0402er Bauteil

bestücke fährt der Kopf mit dem Bauteil zwar über die gleiche Kamera, aber das ist ein Trugschluss. Im dem Gehäuse sind 2 Kameras verbaut (oder zumindest 2 Linsen). Zum einen

muss man in jedem Shape angeben welche Kamera verwendet werden soll (2D Small, 2D Lange , 3D Small , 3D Large) und zum anderen haben diese Kameras alle ein eigenes Offset

(wird beim Kalibrieren ermittelt). Anhand der Bauteilgröße müsste die Maschine eigentlich selber erkennen ob die Small- oder Large- Kamera besser geeignet wäre, aber diese

Auswahl muss der Einrichter manuell auswählen. Es kommt lediglich eine Fehlermeldung wenn ich versuche einen 30x30 mm großen BGA über die Small Kamera fahren zu lassen, aber

eine automatische Wahl gibt es da nicht (obwohl, die BM hat eine Auto-Teach-Funktion bei der sie sogar die Kamera selber wählt, aber das funktioniert nur bei 0815 Bauteilen).
Aber zurück zum Thema. Auch in den professionellen Maschinen sind keine Kameras verbaut die alles erkennen können. Diese Kameras sind allerdings sau schnell. Da rasen

innerhalb einer Sekunde 10 Köpfe drüber und schon sind alle 10 Bauteile vermessen (ohne Verzögerung).

ein QFP100 passt in 23.4mm, weshalb ich die maximale Objektgröße auf 24mm festgelegt habe.

Da ist ein Fehler drin. Ein QFP100 muss nicht

unbedingt Quadratisch sein. Hier ist mal ein Beispiel. Nicht von der Body Size irritieren lassen, das ist

das Körpermaß ohne Beine. Und dann gibt es da noch einen Denkfehler: Das Bauteil wird nicht immer exakt mittig unter der Nozzle hängen. Wenn das Bauteil im Beispiel (QFP100

mit 25,6mm Länge incl. Beine nun so unter der Nozzle sitzt müsste der Erkennungsbereich schon >34mm sein.

Damit lassen sich bei genügend hoher Auflösung auch noch die kleinen Bauteile korrigieren. doch ich denke, 0402 wird unmöglich sein, ohne eine

Mikroskopkamera.

Möglich wäre das schon, aber das wäre halt unnötig. Die Kosten wäre um ein vielfaches höher nur damit man lediglich eine Kamera nutzt statt zwei.

Ohne Laserscanner ist BGA auch eher unmöglich

Naja, es ist ohne Laser unmöglich zu erkennen ob jeder Ball vollständig vorhanden ist. Mit der

2D-Kamera kann man allerdigs das Bauteil erkennen und eine Lagekorrektur vornehmen. Man kann auch erkennen wenn da ein "falscher" BGA unter der Nozzle hängt (sofern die Balls

nicht identisch sind). Bei manchen BGAs fehlt in der Polungs-Ecke ein Ball, bei diesen kann man auch ein Verpolungsschutz sicherstellen (auch schon mit der 2D-Kamera).

Ein riesengroßes Problem stellt noch der Parallaxenfehler dar, also die Verzerrung des Bildes bei kleiner Brennweite, die auf jeden Fall nötig wird.

Ich sage es gleich: Hier werden wir auf keinen gemeinsamen Nenner kommen, was letztendlich aber egal ist, denn OpenCV unterstützt beides: USB Kamera, FPGA Capture Karten und

andere professionelle Vision Systeme. Ich plane lediglich ein wenig mehr Platz für eine größere, bzw zweite Kamera ein.

Stimmt, da würden wir nicht auf einen Nenner

kommen

Nachtrag: Oder so: Zwei Ecken angucken und dann korrigieren - http://www.youtube.com/watch?v=-u_CkC2CDhU&t=60s

Das ist ausreichend

für eine Lagekorrektur, aber nicht um verbogene Beine zu erkennen. Ein verbogenes Bein eines QFPs kann man später leicht reparieren (das nötige Geschick vorausgesetzt), aber

ein BGA kann man nicht so einfach reparieren. Klar, ohne 3D-Erkennung wird man eh nicht alles erkennen, aber manches halt schon. Beispiel: Du bekommst einen gegurteten BGA und

kannst diesen aber nur im Tray bestücken (Platz- /Feedermangel). Im Tray liegt ein 0402er Bauteil, welches da hingefallen ist. Dieses Bauteil passt hervorragend zwischen den

Balls (ich spreche da aus Erfahrung). Wenn nun lediglich die Bauteilecken angesehen werden um eine Lagekorrektur zu ermöglichen wird dieses Bauteil nicht erkannt, welches nun

zwischen den Balls hängt. Die Reparatur ist in dem Fall nur durch ab- und anlöten des BGA möglich (und dazu braucht man eine sau teure Anlage, einfach nur Heißluft reicht da

nicht aus).
Wenn man eh schon "Bereiche" anschaut, dann kann man das auch gescheit machen und "alle" Bereiche anschauen (kacheln). Das dauert zwar länger, aber ist auch sicherer.