einfaches neuronales Netz, inkl. deep learning

[HaWe]

welche gezielte Frage hast du gestellt?
wie ein Neuron aufgebaut ist und wie es funktioniert, das steht doch alles da, ausführlich erklärt: https://de.wikipedia.org/wiki/K%C3%BCnstliches_Neuron
was genau hast du daran nicht verstanden?

[Moppi]

Zunächst braucht man für Projekte u.a. dieses gewisse Grundwissen.

Richtig erkannt!

Darum geht es.




MfG

[HaWe]

also nochmal:
welche gezielte Frage hast du gestellt?
wie ein Neuron aufgebaut ist und wie es funktioniert, das steht doch alles da, ausführlich erklärt: https://de.wikipedia.org/wiki/K%C3%BCnstliches_Neuron
was genau hast du daran nicht verstanden?

[Moppi]

also nochmal:
welche gezielte Frage hast du gestellt?
wie ein Neuron aufgebaut ist und wie es funktioniert, das steht doch alles da, ausführlich erklärt: https://de.wikipedia.org/wiki/K%C3%BCnstliches_Neuron
was genau hast du daran nicht verstanden?

Chapeau, gut offtopic geführt!

[Holomino]

Zunächst braucht man für Projekte u.a. dieses gewisse Grundwissen.

Vielleicht braucht man zuerst einmal ein interessantes, für viele nachvollziehbares Projekt? Z.B. das selbständige Lernen/Optimieren der Regelkonstanten eines PID-Reglers im Antrieb mit Bezug auf Versorgungsspannung und Zuladung fände ich schon interessant.

[HaWe]

Z.B. das selbständige Lernen/Optimieren der Regelkonstanten eines PID-Reglers im Antrieb mit Bezug auf Versorgungsspannung und Zuladung fände ich schon interessant.

das fände ich z.B. schon unglaublich weit fortgeschritten als Projekt - ich selber wüsste noch gar ncht, wie ich genau daran herangehen müsste.
Zeichenerkennung auf einer Punktmatrix ist da 1000mal einfacher!

- - - Aktualisiert - - -

Chapeau, gut offtopic geführt!

es waren doch deine eigenen Fragen!

1. Was sind Neuronen in einem NN?
2. Wie bilde ich ein Neuron im Programm (Arduino-C-Code) ab/nach?
3. Wie funktioniert die Gewichtung in einem NN, wie bilde ich dies im Programmcode ab/nach?
4. Wie "lernt" das Netz, wie bilde ich dies im Programmcode ab/nach?
5. Wie entsteht aus einem Eingangsmuster eine Zuordnung am Ausgang?
6. Wie speichere ich Gewichtungen aus dem Netz und lade sie wieder dort hinein, um das Netz verschiedene Aufgaben erledigen zu lassen?
7. Wie weiß ein Netz, wann es alles fertig ist mit Lernen und wann es das gelernte anwenden kann, also wie schalte ich ein Netz um, von Lernen auf Anwenden und wie sieht dies im Programmcode ganz genau aus, wie wird es realisiert?

1.-3. und eigentlich sogar 1.-5. steht im Wikipedia Artikel

[Holomino]

Man muss ja nicht die ganze Regelung mit KI machen, sondern einfach nur die Konstanten generieren.

Eingangsgrößen könnten z.B. Betriebsspannung und Zuladung sein. Ausgangsgrößen sind die Regelkonstanten. Bewertungskriterien sind Zeit bis zum Ziel und Anzahl der Überschwinger.
Wenn ich das alles richtig verstehe, sollte sich ein einfaches Fahrgestell mit Motoren und Inkrementalgebern doch so mit der Zeit selbst optimieren.

[HaWe]

Arduino-Code übersetzt nur die Formeln in Arduino-Bezeichner, also für


S = _i=0ⁱ⁼¹⁰⁰Σx_i als

S=0;
for (i=0; i<=100; i++) {S+=x[i]}

(hier sieht man auch, dass man hier im Forum gar keine vernünftigen Formeln reinschreiben kann, was aber unbedingt nötig wäre für ein Tutorial. Dazu bräuchte man LaTeX.)

- - - Aktualisiert - - -

Man muss ja nicht die ganze Regelung mit KI machen, sondern einfach nur die Konstanten generieren.

Eingangsgrößen könnten z.B. Betriebsspannung und Zuladung sein. Ausgangsgrößen sind die Regelkonstanten. Bewertungskriterien sind Zeit bis zum Ziel und Anzahl der Überschwinger.
Wenn ich das alles richtig verstehe, sollte sich ein einfaches Fahrgestell mit Motoren und Inkrementalgebern doch so mit der Zeit selbst optimieren.

Die Menge an Inputs sind viel größer als du wschl denkst, denn du kannst ja nur Zahlen als bit-Inputs eingeben.
Wenn du einen Incrementalgeber verfolgen willst, brauchst du auch die vorherige Position oder Geschwindigkeit.

wenn du also 4 16-Bit-Zahlen als Inputs eingeben willst, brauchst du alleine schon 64 Inputs.
Und wenn du eine 16-bit Encoder-Zielposition eingeben willst, brauchst du ebenfalls 16 In-oder Outputs. Hinzu kommen die Zahlen für Ki, Kp und Kd, das sind float-Zahlen, die ebenfalls als Int mindestens mit je 16bit dargestellt werden müssen, also nochmal 48 Inputs und sicher auch Outputs, denn als Outputs müssen sie ja korrigiert werden - ggf geht das auch über ein rückgekoppeltes 4-Schicht-Netz (Elman oder Jordan) oder eine "self-organizing map" - die SOMs sind aber um etliches schwerer auf Arduinos zu verwirklichen als Backpropagation Netze.

Verwende doch mal mein Backpropagation Netz als Basis und versuche es so abzuwandeln, dass es PID-Werte lernt und optimiert!
Insgesamt sicher nicht trivial!

- - - Aktualisiert - - -
Auch lernt ein Backpropagation Net keine Optimierung, sondern lernt nur präsentierte Inputs den gewünschten Ziel-Outputs zuzuordnen,
und es wird anschließend neu präsentierte Input-Muster dann entweder bisher gelernten Outputs zuordnen oder aber auch neue, eigene Outputs generieren, die sinnvoll, aber auch völlig sinnlos sein können,
also z.B

gelernt (als bit-Inputs):
1 -> 1
0 -> 1
3 -> 1
4 -> 1
8 -> 1
11 -> 2
10 -> 2
12 -> 2
15 -> 2
17 -> 2
20 -> 3
21 -> 3
22 -> 3
25 -> 3
27 -> 3

und wenn man nun präsentiert: 13 (nicht trainiert)
dann wird vlt als Ergebnis kommen: 2

und als Input: 24 (nicht trainiert)
dann möglicherweise als Output 3
es könnte aber durchaus auch 1 oder 0 als Ergebnis herauskommen.
Weicht das Ergebnis zu stark vom erwarteten Ergebnis ab, muss man es zusätzlich nachtrainieren.

Bei der Objekt-Erkennung auf Fotos oder in Videos wird man dem Netz beim Training z.B. 10000000 Fotos zu je mindestens 1000x1000 16-Graustufen Pixeln (16.000.000 Inputs) mit Fahrrädern, PKWs, LKWs, Menschen, Straßenschildern und Ampeln präsentieren und als Output, ob und wieviele Fahrräder (erste 7bits) , PKWs (zweite 7bits), LKWs (dritte 7bits), Menschen (vierte 7bits) oder Straßenschilder (fünfte 7bits) drauf waren und wo (Bildkoordinaten).
Dann präsentiert man ein Bild mit einem Zug, einer Auto-Schlange und ein paar Motorrädern und einer Schranke, und dann kann man sich überraschen lassen, was es per pixelweiser Bild-Analyse erkennt.
Bild hier  

Bild hier  


PS,
Man kann solche BP-Netze u.U. auch zur Optimierung von Prozessen verwenden, dazu sind aber noch etliche weitere Prozeduren oder Schritte nötig - möglicherweise wären aber speziell dafür SOMs oder auch Q-Learning Netze besser geeignet.

[Moppi]

Man muss ja nicht die ganze Regelung mit KI machen, sondern einfach nur die Konstanten generieren.

Eingangsgrößen könnten z.B. Betriebsspannung und Zuladung sein. Ausgangsgrößen sind die Regelkonstanten. Bewertungskriterien sind Zeit bis zum Ziel und Anzahl der Überschwinger.
Wenn ich das alles richtig verstehe, sollte sich ein einfaches Fahrgestell mit Motoren und Inkrementalgebern doch so mit der Zeit selbst optimieren.

Ich denke, dass ist schon etwas kompliziert.
Deshalb habe ich gefragt, ob das jemand auseinander nehmen kann und so ein Netz von der Pike auf erklären und aufbauen kann.
Dann kann jeder sehen, welches Potential drin steckt und wie wir das verbessern können. Oder ob das schon sehr aufwendig ist, so etwas damit anzustellen, wie Holomino als Beispiel gegeben hat.

Nach der ganzen Leserei darüber glaube ich schon, eine ungefähre Vorstellung zu haben, wie es funktioniert und wo die Grenzen sind oder wo es kompliziert wird.
Würde mir aber noch nicht selber zutrauen, so ein einfaches Netz neu aufzubauen, bis es irgendwann so umfangreich ist, dass man damit Probleme lösen kann, wie wir sie für einfachere Roboter bräuchten (s. Holomino).



MfG

[Rumgucker]

Hallo Moppi, HaWe, Mxt und Holomino,

ich danke Euch für diesen interessanten Thread und hoffe, dass "Thread erledigt" nicht heißt, dass mein später Beitrag hier unerwünscht ist.


Ich stelle mir eine nur mir bekannte geheime und dunkle "Umwelt" vor.

Sie besteht aus einem Schachbrett mit 8 mal 8 Feldern, von denen viele mit Mauern besetzt sind. Ein vollständig blinder Roboter soll durch diese ihm unbekannte Umwelt hüpfen und den Ausgang finden.

Der Roboter kann ausgehend von seiner Position in alle acht Richtungen springen. Wenn der arme Kerl gegen eine Mauer hüpft, wird er bestraft und zurück auf die Startposition gestellt. Die Anzahl der Strafen wird gezählt.

Als "normales" Programm wäre das ein 50-Zeiler inkl. Deklarationen und man findet findet mit weniger als 64 Strafen nicht nur irgendeinen, sondern sogar den optimalen Weg, wenn es denn überhaupt einen Weg gibt.

Ich spekuliere, dass KNN dem weit unterlegen sind.

Man wird viele ähnlich einfache (aber sinnvolle) Anwendungen finden, in denen KI eher hinderlich erscheint. Sinnvoller scheint der Einsatz erst zu werden, wenn die Aufgaben komplexer werden. Sprach- und Bildererkennung. Aber damit geht automatisch die von Moppi geforderte anschauliche Einfachheit verloren.

Bei großen Projekten treten auch strukturelle Probleme in den Vordergrund. Die mangelnde Parallelität und die fehlende dynamische Vernetzung unserer Computer. Beide strukturellen Mängel können nur mit der brutalen Rechnergeschwindigkeit von GPUs halbwegs ausgebügelt werden.

---------------

Mich persönlich würden winzige lernende und sich vernetzende KNN sehr interessieren. Aber dann mit einem matrixarmen Ansatz, der besser an die Gegebenheiten unserer kleinen Controller angepasst ist.

Und ich glaube auch, dass hier im Forum genug Expertise vorhanden ist, um auf neue Ansätze zu kommen.

Viele Grüße

Wolfgang