GI = Guckis Intelligenz

[Rumgucker]

Moin Helmut,

vielen Dank. Allerdings führt Dein vorgeschlagnes KI-Sprech automatisch zur KI-Denke und damit zu strunzdummen Mustererkennungsautomaten.

--------

Beim GI-System versuche ich den natürlichen Weg. Ich hab das vielfach betont. Biologie, Pädagogik und Co. müssen daher meine Quellen sein.

Das gelöste XOR-Problem hat mir restlos deutlich gemacht, dass wir unsere Perzeptron-Maschinen nur falsch unterrichten. Wenn man sie wie Maschinen unterrichtet, verhalten sie sich wie Maschinen. Wenn man sie jedoch wie Lebewesen unterrichtet, verhalten sie sich wie Lebewesen.

Wir müssen nicht an den Perzeptrons rumfummeln. Wir müssen an unserer Denkweise rumfummeln. Sonst werden wir nie intelligente Maschinen bauen können.

Viele Grüße

Wolfgang

[HaWe]

ein Apfel ist ein Apfel und ein Rad ist ein Rad, und wenn man den Apfel "Birne" nennt, die Radachse "Pedal" und den Reifen "Sattel", führt das nur zur Begriffsverwirrung. Ich würde bei den etablierten Begriffen bleiben, denn dann wird man auch verstanden.

[oberallgeier]

.. Wir müssen an unserer Denkweise rumfummeln. Sonst werden wir nie intelligente Maschinen bauen können ..

An unserer Denkweise ? Die ist(wird) doch vielfach/meist in einem frühen Lebensabschnitt festgelegt (siehe Fichte, Die Bestimmung des Menschen, Erstes Buch, vierter Absatz ff) - weitgehend ohne unseren bewussten Einfluss (Link vorher).
Du meinst wohl wir müssten an der Denkweise unserer Maschinen fummeln.? Ahhh - ich habs - wir müssen an unserer Denkweise über die Denkweise unserer Maschinen rumfummeln.

[Rumgucker]

Hallo, Ihr zwei,

wenn man Computer programmieren will, muss man eine Computer-Programmiersprache verwenden. Nach einigen Jahren der Benutzung denkt man sogar in der Sprache.

Wenn man einem KI-System intelligentes Verhalten beibringen will, muss man ebenso eine geeignete Sprache nutzen. Ich beginne gerade, diese Sprache und Denkweise zu lernen.

Das XOR-Problem im KI-System führt bei mathematischer Denkweise zu einem zweischichtigen Perzeptron-Netzwerk, das erst mit backpropagation beherrschbar ist.

Sobald man jedoch den Lernprozess etwas natürlicher gestaltet, benötigt man weder zwei Schichten noch backpropagation. Plötzlich zerfällt das viele Jahre lang als "unlösbar" bezeichnete XOR-Problem vor unseren Augen zur Trivialität. Ich hab das in der letzten Doku und in dem Beitrag direkt vor der letzten Doku ausführlich erklärt.

Siehe #101 und #102

Allein die geänderte Nomenklatur brachte eine geänderte Denkweise und die führte zu einem direkten Lösungsweg. Ich könnte jetzt auf jedem Perzeptron-Netz das XOR-Problem mit einem einzigen Neuron lösen, ohne die Backproagation-Keule oder eine zweite Schicht zu bemühen.

Eine geänderte Denkweise und Nomenklatur führt - nachweislich - zu neuen Lösungen.

Es hat mich sehr gewundert, dass es hier keinerlei Echo dazu gab. Ich ging daher davon aus, dass die Lösung des XOR-Problems für Euch kalter Kaffee war.

Im Moment scheint es mir aber eher so, dass die Evidenz nicht verstanden wurde.

Viele Grüße

Wolfgang

[HaWe]

also ich persönlich kenne das Thema XOR bereits seit 10 Jahren, seit meinem ersten selber geschriebenen KNN, und es funktioniert perfekt, einfach durch Anlernen von Mustern, ohne irgendwelche fest vorprogrammatierte OR/AND/NOT Operatoren, nämlich per Überwachtem Lernen von Input-Output-Musterpaaren. Du wirst mir also nicht unterstellen können, ich habe die Problematik nicht verstanden. Allerdings habe ich auch weder ein nachvollziehbares, funktionierenes Programm von dir bisher gesehen noch auch verstanden, das stimmt ntl soweit.

[oberallgeier]

.. Im Moment scheint es mir aber eher so, dass die Evidenz nicht verstanden wurde ..

Bei mir ist das wohl so, leider. Ich lese hier mit und versuche das nachzu-denken. Hätte besser auch keinen Beitrag gegeben weil dieses für mich ein ".. möcht ich auch wissen/können/kennen .." ist. Ich werde mich zurückhalten.

[Rumgucker]

Hallo Helmut,

mehr als die Doku inkl. den vollständigen Sourcen für den CC5X und 12F629 gibts von mir zur Zeit nicht. Erst wenn ich das Projekt abgeschlossen hab, gibts eine Konvertierung auf Tiny85.

Dass man mit backpropagation erfolgreich XOR lernen kann, hatte ich stets betont. Backpropagation wurde zu Zeiten entwickelt, als man seine Schutzbefohlenen noch verprügelte, damit sie was anständiges lernen. In meinen Augen anachronistisch. Die Effektivität bleibt auf der Strecke: Man verbraucht viele Neuronen und benötigt lange Lernzyklen.

Intelligente Systeme benötigen intelligente Lernverfahren.

---------

Hallo oberallgeier,

ich nahm irrtümlich an, dass Du Dich über meine unbeholfene Ausdrucksweise lustig machtest.

Bitte entschuldige. Und nun sei nicht gleich eingeschüchtert!

Bei Interesse erklär ich das XOR-Problem und meine Lösung noch mal ganz einfach. Du wirst Dich schlapp lachen. Und es nützt auch anderen, die die Tragweite offensichtlich auch nicht erkannt haben.

---------

Weiter im Text:

Da über die Umwelt nichts bekannt ist, hab ich beim selbstgesteuerten Lernen einfach die trial & error-Methode angewendet. Ein Lehrer beendet den Lernvorgang, wenn die Umwelt das gesuchte Bitmuster ausgibt. Wie das GI-System lernt, ist ihm allein vorbehalten. Ich mach dem System keinerlei Vorgaben.

Trial & error empfinde ich "natürlich". Vieles im GI-System ist nach dieser Methode von mir entwickelt worden. Zwar ist T&E nicht ganz so elegant, wie ichs mir fürs selbstgesteuerte Lernen gewünscht hab. Aber zulässig.

Doku gibts also schon morgen.

Danach fehlt dann nur noch das autonome Lernen. Dann gibt es auch keinen Lehrer mehr, der sagt, wenn das Lernziel erreicht wurde. Dieses Detail halte ich aber für sehr trivial.

Ich denke, bis spätestens Mitte nächster Woche bin ich mit dem gröbsten durch. Dann konvertier ich das noch kurz auf den Tiny85 und dann könnt Ihr losspielen. Source, Doku und gut getestete Anwendungsbeispiele. Das ist ne vernünftige Basis, finde ich.

Viele Grüße

Wolfgang

----------

Nachtrag: hab mir gerade den allerersten Beitrag in diesem Thread nochmal durchgelesen. Am 9.11. war der. Ich bin nicht ganz unstolz.

[oberallgeier]

.. ich nahm irrtümlich an, dass Du Dich über meine unbeholfene Ausdrucksweise lustig machtest ..

Nein - bloß nicht. Im Gegenteil - ich finde Deine Aussagen, schrittweises vorgehen und Folgerungen hoch interessant. Hatte eben nur anmerken wollen(müssen), dass unsere Basisprogrammierung (die das Menschen) weitgehend ohne bewusstem Einfluss erfolgt und "hinterher", nach Eintreten von ordentlichem Schluss-folgern-Können, nur sehr mühevoll umgangen oder gar abgeändert werden kann. Bei mir jedenfalls. Und bei Fichte offenbar auch.

[Rumgucker]

Hallo oberallgeier, hallo Mitlesende,

ich versuch jetzt aber trotzdem mal, das XOR-Problem verständlich rüberzubringen.

Sowohl Helmuts als auch mein System besteht aus Zellen. Diese Zellen haben mehrere Eingänge. Jeder aktivierte Eingang erhöht in der Zelle einen Summenzähler. Sobald dieser Zähler eine Schwelle erreicht hat, feuert die Zelle.

Er und ich haben unseren Eingängen Zahlenwerte zugeordnet. Eine Zelle mit zwei Eingängen A und B kann zum Beispiel für jeden Eingang den Zahlenwert "5" zugeordnet haben. Die Zelle soll beim Summenzähler "10" feuern.

Wenn nur der Eingang A aktiv ist, wird der Summenzähler nur den Wert "5" erreichen und die Zelle feuert nicht. Auch wenn nur der Eingang B aktiv ist, bleibt der Summenzähler der Zelle auf "5". Die Zelle kann nur feuern, wenn Eingang A UND Eingang B aktiv sind, denn dann werden die beiden "5" eines jeden Eingangs zu "10" addiert. Das Neuron bildet also ein UND-Gatter mit zwei Eingängen.

Man kann auch jedem Eingang eine "10" zuordnen. Dann wird der Summenzähler in der Zelle schon dann "10" erreichen, wenn nur ein Eingang aktiv ist. Das Neuron bildet dann ein ODER-Gatter mit zwei Eingängen.

Rund 10 Jahre nach Erfindung dieser Art von Neuronen kamen zwei Forscher auf die Idee, dass man damit aber keine XOR-Funktion hinbekommen kann. XOR feuert dann, wenn die beiden Eingänge ungleich sind. Sie schrieben ein tolles Buch über ihre Entdeckung und demotivierten für viele Jahre reihenweise Forscher und Geldgeber.

Irgendwann kam dann ein weiterer Knisterkopf auf die Idee, dass man ja nur mehrere Zellen in Schichten aufteilen muss, um das XOR-Problem zu lösen. Aber entdeckte dann, dass es auch nicht so einfach geht und es wurde kurzerhand ein weiterer Mechanismus benötigt, um das Problem dann doch noch per Hauruckverfahren zu lösen. KATASTROPHE!

Mit dem Quatschkram haben sich erwachsene Männer fast zwei Jahrzehnte lang gegenseitig die Rüben eingeschlagen, Vorträge gehalten, Bücher geschrieben, Flugreisen gemacht. Forschungsgelder verballert und letztlich nur dummes Zeug geredet.

Meine Idee geht wie folgt:

Meine Eingänge A und B bekommen jeweils eine "7" zugeordnet. Und die invertierten Eingänge von A und B (ich nenne sie notA und notB) bekommen jeweils die Gewichte "3" zugeordnet. Und mein Neuron feuert nicht bei Erreichen von "10" sondern nur dann, wenn die Zellsumme exakt 10 ist.

Rechnen wir mal durch:

notA und notB = 3 + 3 = 6: Zelle feuert nicht. Das ist beim XOR korrekt.

A und B = 7 + 7 = 14: Zelle feuert nicht. Auch das ist korrekt.

A und notB = 7 + 3 = 10: Zelle feuert! Jippieh!

B und notA = 7 + 3 = 10: Zelle feuert! Nochmal Jippieh!

Und genau diese Eingangsgewichtungen entstehen dann, wenn ich in einer Lernschleife dem "Kindlein" zuerst Teddy und Kasperle zeige (sprich A und B). Das Kind freut sich. Seine beiden Freunde sind da.

Und wenn ich mich dann kurz umdreh und ein Spielzeug wegnehme und mich dann wieder zum Kind wende, ist das Kind entsetzt. Da fehlt doch eine Figur. Nun nehm ich das Patschhändchen und zeige ihm den Feuerknopf.

Und diese Lernanweisung wiederhole ich ein paar Mal. Mal lasse ich den Teddy verschwinden. Mal den Kasperle.

Und wie durch Zauberhand entstehen genau die o.a. Zahlen-Zuordnungen auf den Eingängen und das ganze XOR-Problem verpufft vor unseren Augen wie ein böser Traum.

Die Kombination der natürlichen Lernschleife mit der winzigen Änderung des Feuermechanismus führt zum Erfolg.

Puh.... hab ich das halbwegs verständlich rüberbringen können?

Viele Grüße

Wolfgang