Neuronen basteln

[Rumgucker]

Hallo stochri,

die Nerven in der Natur arbeiten simultan und ihre Dendriten können wachsen und verkümmern.

Parallelität geht mit CPLD/FPGA - aber nur ganz wenig. Und Dendriten-Wachstum können CPUs mühsam mit ihren GPU-Matrizenmultiplikationen simulieren. Leider gibts noch keine FPGA-GPUs, so dass die Lösung beider Probleme auf einen Schlag gelingt.

Die Struktur unserer Chips passt einfach nicht richtig zur Natur. Daran können auch die Pulsneuronen nicht wirklich was verbessern, denn sie verbessern nicht die beiden großen Einschränkungen.

Entweder man konstruiert Chips, die die Hirne besser nachbilden können oder man erschafft sich ein gänzlich neuartiges Verarbeitungsmodell. Wendet sich also ab von der Nachahmung der Natur und hin zu einer Darstellung, die besser zu den vorhandenen Chips passt.

Viele Grüße

Wolfgang

[HaWe]

Das stimmt (Nerven in der Natur) : ihre Dendriten können wachsen und verkümmern.
Bei Feed-Forward und Backpropagation-NNs macht man das so, dass man zunächst alle möglichen denkbaren Verbindungen ("Dendriten") aufspannt, und dann im Training entweder einzelne Verknüpfungen aktiviert ("wachsen") oder deaktiviert ("absterben" lässt). "Abgestorbene" Dendriten haben dann ein Aktivierungsgewicht=0, sie können aber bei neuem Training erneut aktiviert werden ("neu wachsen") oder bislang aktivierte dann auch deaktiviert werden ("absterben").

Parallelität/Simultanität von Funktionen und Prozessen ist bei single-Thread Programmen nicht möglich, Pseudoparallelität auf Singlecore-cpus geht aber mit preemptivem Multithreading (z.B. pthread oder std::thread) und echte Paralleltät geht auf Multicore-cpus (ebenfalls pthread oder std::thread, z.B. auf Dualcore ESP32 oder Quadcore-Raspis).

[stochri]

die Nerven in der Natur arbeiten simultan und ihre Dendriten können wachsen und verkümmern.

Parallelität geht mit CPLD/FPGA - aber nur ganz wenig. Und Dendriten-Wachstum können CPUs mühsam mit ihren GPU-Matrizenmultiplikationen simulieren. Leider gibts noch keine FPGA-GPUs, so dass die Lösung beider Probleme auf einen Schlag gelingt.

Genau so ist es. Im SNN-Pulsneuronenbuch wird das ziemlich genau heraus gearbeitet. Dort werden ein paar Neuronen im FPGA implementiert um zu sehen, wie viele Logikblöcke sie brauchen. Allerdings merkt man bald, dass FPGAs ( obwohl sehr flexibel und schnell ) doch strukturelle Einschränkungen haben. Deshalb beschäftigt sich die Arbeit auch mehr mit verschiedenen Analogschaltungen, welche die Neuronen nachbilden.

Die Struktur unserer Chips passt einfach nicht richtig zur Natur.

Soweit OK, aber

Daran können auch die Pulsneuronen nicht wirklich was verbessern, denn sie verbessern nicht die beiden großen Einschränkungen.

Das wiederum sieht man anders, wenn man das SNN-Pulsneuronenbuch gelesen hat. Die Neuronen selbst sind ja nicht die Verkabelung.

Entweder man konstruiert Chips, die die Hirne besser nachbilden können oder man erschafft sich ein gänzlich neuartiges Verarbeitungsmodell. Wendet sich also ab von der Nachahmung der Natur und hin zu einer Darstellung, die besser zu den vorhandenen Chips passt.

Das wiederum ist richtig. Es gibt ziemlich intensive Forschungsanstrengungen von IBM und Intel zu Struktur neuer Chips, die ebenfalls im SNN-Pulsneuronenbuch beschrieben werden.

[HaWe]

Neuronen-Netze in der Natur sind allerdings auch nicht immer identisch gebaut oder gar lernfähig wie die in Wirbeltieren:
Der Fadenwurm Caenorhabditis elegans z.B. hat ein neuronales Netz aus ca. 300 Nervenzellen, die NICHT lernfähig sind (Ihre Verbindungen samt Gewichten sind/werden fest vererbt (CMIIW) ): so gesehen sind lernfähige KNN diesen sogar in dieser Beziehung überlegen.
Sein Nervensystem wurde inzwischen auch schon komplett als KNN nachgebaut.

In Wirbeltieren allerdings gibt es neben lernfähigen Neuronen samt ihrer neu wachsenden und/oder absterbenden Dendriten durchaus auch neu wachsende Nervenzellen (aus Stammzellen), und ntl können sie auch unwiederbringlich endgültig absterben, und außer trainierbaren, hemmenden oder aktivierenden Zwischenneuronen gibt es auch noch hemmende oder aktivierende Gliazellen, die ebenfalls wachsen oder sterben können, aber nicht trainierbar sind.
Wie man sieht, ist alles deutlich komplizierter als man auf den ersten Blick denken mag

[Rumgucker]

Hallo stochri,

gepulste neuronale Netze gibts angeblich schon seit 1952. Das scheint nur eine spezielle Spielart von ganz vielen zu sei. Aber interessanter Satz in Wikipedia:

So ist beispielsweise nicht abschließend geklärt, ob die Informationen durch die Feuerrate oder durch eine zeitliche Codierung übertragen werden.

Beim GI hab ich erkannt, dass die zeitliche Nähe eines Impulses an einer kurz vor dem Abfeuern stehenden hocherregten Zelle wichtig ist. So hat das Neuron eine Chance, sich an die Axone anzukoppeln, deren Impulse ihr bestmöglich "nützlich" sind.

Ein Autofahrer dreht das Lenkrad nicht nach links, weil er am gleichen Morgen die Milch vor die Tür gestellt bekam, sondern weil ihm ne halbe Sekunde vorher ein Kind von rechts vor den Wagen lief.

Diese Information "Kind kommt von rechts" befindet sich nicht unbedingt in der Schicht davor, sondern kann sich irgendwo in einem ganz anderen Cluster des Hirns befinden. Wahrscheinlich sogar sehr nah dran an den Sensoren, denn eine Mustererkennung "Kind" oder "Auto" oder "Oma" oder "Tiger" ist eigentlich unbedeutend. Wichtig ist doch nur, dass "etwas" von rechts kommt, dem ich ausweichen muss.

Weiterhin erkennt man bei diesem Gedankenexperiment, dass es nicht nur auf zeitliche Korrelation sondern auch auf Deltas ankommt. "Es kommt etwas von rechts" ist viel wichtiger als die Information, dass "rechts etwas steht". Unser Hirn scheint also auf den unteren Ebenen viel mit Differentiation zu arbeiten. Diese Impulsflanken müssen zeitlich exakt sein.

Viele Impulse entstehen im Netzwerk automatisch, weil auch andere Zellen in angespannter Situation gleich mitfeuern. Ein vors Auto springendes Kind kann ein regelrechtes Nervengewitter auslösen, bei dem man sein ganzes Leben an sich vorbeihuschen sieht. Ob eine Zelle bei Erregung mehrfach feuern muss, weiß ich noch nicht so genau. In der fehlerhaften Natur sicher. Aber auch in einem störungsfreien Computer, bei dem jede Aktivität das Netzwerk belastet?

Auf höheren, abstrakteren Ebenen des Hirns gehts dagegen nicht mehr um Impulse. Da scheints um ruhige Integration zu gehen. Hier "reifen" Pläne und Strategien. Von dem Areal bin ich noch ganz weit weg. Außerdem müsste man, um sowas programmieren zu können, intelligenter als das Objekt sein. Da komm ich schnell an meine Grenzen. Aber Impulse spielen "da oben" nicht mehr die Rolle, wie in den untereren animalischeren Regionen der Nerverei.

Spiked neuronal networks sind in meinen Augen nicht die universellen Problemlöser. Sie werden einige Spezialaufgaben gut lösen können. Nach meinem Dafürhalten in den zeitkritischen Bereichen. Auch das simple Perceptron löst einige Spezialaufgaben bestens. Hauptsächlich im Bereich der Mustererkennung. Und andere Topologien werden auch ihre speziellen Domänen nachgewiesen haben.

Gesucht ist aber eine Standardlösung. Seit zig Jahrzehnten.

Viele Grüße

Wolfgang

[HaWe]

die zeitliche Dimension wird bei mehr- oder vielschichtigen BP Netzen durch zusätzliche rückkoppelnde Neuron-Schichten modelliert (z.B. Jordan- oder Elman Netz).

Wird ein natürliches Neuron erregt, so werden dann auch nicht alle Vesikel mit Neurotransmittern in der Synapse seines Axons komplett geleert, sondern nur einige (und diese auch nur teilweise), wodurch die Neurotransmitter u.U. noch nicht in ausreichender Menge an die postsynaptischen Rezeptoren binden, und erst wiederholte Erregung(en) führt(en) dann zu einer so starken Neurotransmitter-Konzentration im synaptischen Spalt, sodass dann auch der Dendrit des nachgeschalteten Neurons erregt (depolarisiert) wird.

- - - Aktualisiert - - -

PS
auch hier kommt noch eine weitere zeitliche Kompenente hinzu:
Die Neurotransmitter im synaptischen Spalt werden laufend wieder rückresorbiert oder enzymatisch inaktiviert, so dass nur sehr kurzfristige schnelle Wieder-Erregungen zu einer ansteigenden Neurotransmitter-Konzentration führen - ist die Zeit dazwischen zu lang, werden die Karten neu gemischt...

[Rumgucker]

Hallo HaWe,

mal ein zentrales "Danke"!

Dieses Forum wäre bzgl. der KI regelrecht entkernt, wenn Du nicht bei uns wärst.

Viele Grüße

Wolfgang

- - - Aktualisiert - - -

Hallo stochri,

LTSpice kennt vermutlich jeder. Kostenloses Schaltungssimulationsprogramm, problemlos zu laden und extrem weit verbreitet.

Eigentlich müsste man damit auch unschwer KNN und Neuronen unterschiedlicher Technologie simulieren können. Ohne 555- und ST-Rumgelöte.

Gabs hier im Forum mal Arbeiten in dieser Richtung?

Das wär doch ne feine und höchst anschauliche Sache, finde ich.

Ich wär dabei. LTSpice und ich verstehen uns recht gut.

Viele Grüße

Wolfgang

[stochri]

Beim GI hab ich erkannt, dass die zeitliche Nähe eines Impulses an einer kurz vor dem Abfeuern stehenden hocherregten Zelle wichtig ist. So hat das Neuron eine Chance, sich an die Axone anzukoppeln, deren Impulse ihr bestmöglich "nützlich" sind.

Das wäre im Kapitel 2.6.8 "Synaptische Plastizität" unter dem genaueren Begriff "STDP Spike Time Dependent Plasticity" im Pulsneuronenbuch zu finden.

Ich finde aber, dass es heutzutage etwas zu viel KI-Hype gibt. Wenn man immer nur die Frage stellt, wie kann ich möglichst viel Intelligenz in meine Maschine bekommen, übersieht man möglicherweise grundlegende Zusammenhänge.
Die Entwicklung der Computer entstand mathematischen Überlegungen mit den Zahlen 0 und 1. Man hat dann Schaltungen wie UND, ODER, NICHT gebaute und dann später alles daraus folgende.
Man könnte die Frage ja auch abändern und fragen: Brauche ich zum Bau von Computern eigentlich diese Art von Mathematik und den dazu gehörigen Schaltungen? Kann ich vielleicht auch in die Natur schauen, dort sehe ich Neuronen und könnte ich damit einen Taschenrechner bauen? Was wäre, wenn zum Beginn der Computerentwicklung die heutigen Erkenntnisse zur Funktion der Neuronen bekannt gewesen wäre? Hätte sich dann die Computertechnologie völlig anders entwickelt? Was brächte es für Vorteile?

Wer sich für diese Art der Fragestellung und deren Auflösung interessiert, ist mit dem SNN-Pulsneuronenbuch richtig ( ich schreibe den Titel hier immer aus, weil die Forensoftware sonst immer auf Amazon auf irgend ein anderes Werk verlinkt ).

[Rumgucker]

Die Forensoftware hat meinen letzten Beitrag auf der Seite 1 noch ungefragt um einen Nachtrag erweitert, in dem ich die Frage stellte, ob wir nicht mal Neuronen bzw. kleine Netze mit LTSpice basteln wollen?