weltweit erstes Neuronales Jordan Netz auf Arduino Due !

[Counterfeiter]

Ist das ein Grundlegend neuer Ansatz? Den habe ich so noch nie gehört.

Jedoch wird das Netz sehr wohl bestraft. Schau dir mal das Q-Learning an. Die richtige Aktion wird belohnt, die falsche bestraft. Hierzu wird aber eine "Lernrate" mitgegeben (die nichts mit der Learnrate des FF-Netzes zu tun hat):

Aus meinem Quellcode oben:

qval[action] = (reward < 0.0) ? (reward + (gamma * maxQ)) : reward;

Wird bestraft, wird die maximale Aktion des Folgeschrittes genommen (maxQ) und mit der Lernrate multipliziert. Anschließend wird es zum negativen reward (Bestrafung) addiert...
Folglich, wird die falsche starke Aktion bestraft und eine kleinere Ausgabe wird antrainiert... Natürlich sollte gamma unter 1,0 liegen! Ich verwende aktuell 0,9.

Es gibt da schon verdammt gute Konzepte... Ich denke nicht, dass du hier eigene Sachen entwickeln musst! Aber ohne das sich Leute einen Kopf darüber machen, gibt es keine neuen Erkenntnisse... Von daher... auf auf!

Viele Grüße

Sebastian

[HaWe]

nein, kein grundsätzlich neuer Ansatz, sondern ein neuer Ansatz für "MEINE" neuronalen Netze, für die ich mich besonders interessiere.

Aber negative Verstärkung = Bestrafung hat nichts mit einer Intervention mitsamt Korrektur-Vorgabe bei Fehlern zu tun, Bestrafung führt einen negativen Reiz zu, den das Tier/das Netz von sich aus "primär" vermeiden will, nämlich (meist) Schmerz als primären negativen Reiz.
Die Folge ist ein ungerichtetes Vermeidungsverhalten, ohne jeden Reiz oder irgendeine "Vorgabe" in eine "richtige" Lösungs- oder Ergebnis-Richtung oder auch ohne eine Art "Lernrate" dafür: das ist hier der entscheidende Punkt!

Genau wie für positive Reize und positive Verstärker braucht man hier auch wieder ein Modell für unbedingte Reflexe und bedingte Reflexe auf negative Reize.

Aber zur Zeit steht bei mir eh erst mal Linux- und C- und C++ - Lernen für den Raspi an erster Stelle. Wie wäre es doch schön, wenn der so einfach wie ein Arduino funtionieren würde und zu programmieren wäre... :-/

[Counterfeiter]

Achso, ich dachte wir könnten über dieses Model aus mathematischer Sicht schon sprechen. Wenn die Arbeiten noch andauern, dann verschieben wir das noch.

Dann viel Erfolg beim Lernen. Es lohnt sich auf jedenfall...

VG

Basti