Analog Neuron

[Moppi]

Wieso ungenau?

Gut, ich dachte jetzt, Du erkennst, was gemeint war.

Ich erkläre es ganz genau:

Im SNN-Pulsneuronenbuch wird gezeigt, dass man ein Neuron aus 4 Transistonen bauen kann ( so meine ich mich zu erinnern, ohne jetzt nachschlagen zu wollen ). Wieviel mehr Transistoren braucht man wohl für das Bit eines gewöhnliches Schieberegisters? Das dürften deutlich mehr sein, sehr viel mehr.

Das stimmt nicht und ist daher falsch. Es sei denn, Du meintest das anders. Die Antwort lautet: nicht mehr, sondern weniger Transistoren werden benötigt, um ein Bit abzubilden.
Was Du mit Bit eines Schieberegisters meinst, ist mir daher nicht klar. Deshalb schrieb ich: Deine Formulierung ist sehr ungenau.



MfG

- - - Aktualisiert - - -

Für den Fall, dass ein Schieberegister aus D-Flip-Flops aufgebaut ist, würdest Du mit "Bit" ein D-Flip-Flop meinen.
Ein D-Flip-Flop kann man aus 4 NAND-Gattern aufbauen.
Ein NAND-Gatter besteht aus 2 Transistoren.
Ergo wäre die Antwort: für ein "Bit" eines Schieberegisters bräuchte man 2 mal 4, also 8 Transistoren.


Die Aussage

Das dürften deutlich mehr sein, sehr viel mehr

Ist hier sehr relativ (ungenau). Nach der obigen Betrachtung sind es mal gerade doppelt so viele Transistoren, wenn Du, bei Deiner andern Sache, 4 Transistoren benötigst.
Dazu kommen aber noch Widerstände und Kondensatoren. Vielleicht sollte man die Größe der Schaltung / der Schaltkreise und Gesamtzahl an diskreten Bauelementen in eine solche Betrachtung einbeziehen.


MfG

[stochri]

Für den Fall, dass ein Schieberegister aus D-Flip-Flops aufgebaut ist, würdest Du mit "Bit" ein D-Flip-Flop meinen.

Nur leider kannst Du kein Schieberegister mit D-FlipFlops aufbauen, Du brauchst flankengetriggerte FlipFlops.
Ein Flankengetriggertes FlipFlop ( das gerne 2 D-FlipFlops beinhalten kann ), braucht deutlich mehr Transistoren.

[HaWe]

der wesentliche Punkt wäre, dass es lernfähig = auf verschiedene Input- und Reaktionsmuster flexibel trainierbar ist, denn sonst macht ein NN IMO keinen Sinn - und dafür dürfte es gern ein paar Transistoren mehr besitzen...

[Moppi]

Der Dreh an der Sache ist doch der: ein biologisches Gehirn kennt keine Digitaltechnik, es funktioniert analog und zwar ausschließlich. Das kann man elektronisch analog nachbauen, oder man greift auf Digitaltechnik zurück. Wodurch es eben möglich wird, extrem viel Platz einzusparen. Auch wenn im Vergleich evtl. mehr Bauteile benötigt werden. Der Kostenaufwand beim diskret analogen Aufbau wäre ungleich viel höher. Auch der Materialeinsatz steigt nicht unbeträchtlich. Dieses hat man doch bei der Erfindung des Computers durchgemacht. Deswegen dürfen wir stolz sein, dass wir heute Milliarden Transistoren auf 1cm² unterbringen können. Lehrreich ist ein analoger Aufbau, zum Verständnis, aber allemal und super geeignet.




MfG

[HaWe]

analog oder digital mit float oder double (die ja auch analoge Werte nachbilden) - völlig egal, Hauptsache: lernfähig, und je leistungsfähiger, desto besser.

Ist denn diese analoge Schaltung nun lernfähig und trainierbar auf Muster oder Umweltreize?

Außerdem funktoniert ein biologisches Gehirn nicht analog, sondern reagiert auf abzählbare Neurotransmitter-Molekülzahlzahlen an Rezeptoren, bis zu Schwellenwerten, in Ganzzahl-Schritten, worauf hin dann ab dem Schwellenwert die Polarisation nach "alles-oder-nichts"-Gesetz erfolgt, also quasi 0 auf 1 (Depolarisation), anschließend wieder zurück auf 0 (Repolarisation), demnach ist die Auslösung des Nervenzellimpulses ein getriggertes digitales Ereignis.

PS: Strengenommen beruht aber ja auch "analog"-Technik auf einer abzählbaren ganzzahligen Schritt-Anzahl von Überträgern, nämlich Elektronen (nur dass die Schritte hier noch deutlich kleiner sind als die (schrittweise) rund 0 bis 10¹⁰ Neurotransmitter-Moleküle im synaptischen Spalt von nat. Nervenzellen)

[stochri]

Der Dreh an der Sache ist doch der: ein biologisches Gehirn kennt keine Digitaltechnik, es funktioniert analog und zwar ausschließlich.

Nein, es funktioniert gemischt: Sowohl analog als auch digital. Im vereinfachten Modell entspricht die Spannung am Kondensator dem Zellpotential und das ist analog. Der Puls ( oder im Fachjargon "das Aktionspotential" ) ist digital. Er ist entweder da oder er ist nicht da.

der wesentliche Punkt wäre, dass es lernfähig = auf verschiedene Input- und Reaktionsmuster flexibel trainierbar ist, denn sonst macht ein NN IMO keinen Sinn - und dafür dürfte es gern ein paar Transistoren mehr besitzen...

Da Du Dich ja mit der KI ein wenig auskennst: Bei den meisten praktischen Anwendungen wird zwischen "Training" und "Inferenz" unterschieden. Normalerweise ist das Training auf leistungsstarken Computern mit großen Trainingsdatensätzen durchgeführt. Die spätere Anwendung kann z.B. auf einem relativ schwachbrüstigen Mikrocontroller ( von mir aus mit KI-Beschleuniger wie der Kendryte K210 ) durchgeführt werden.
Die trainierten Modelle kann man z.B. für Tensorfloor fertig herunter laden. Das resultierende System ist starr, wurde aber vorher durch lernen erzeugt, ist aber selbst nicht mehr lernfähig.

[Moppi]

Außerdem funktoniert ein biologisches Gehirn nicht analog, sondern reagiert auf abzählbare Neurotransmitter-Molekülzahlzahlen an Rezeptoren, bis zu Schwellenwerten, in Ganzzahl-Schritten, worauf hin dann ab dem Schwellenwert die Polarisation nach "alles-oder-nichts"-Gesetz erfolgt, also quasi 0 auf 1 (Depolarisation), anschließend wieder zurück auf 0 (Repolarisation), demnach ist die Auslösung des Nervenzellimpulses ein getriggertes digitales Ereignis.

Das das nun mehr oder weniger Unsinn ist, wenn man sich betrachtet, wie Analaogtechnik funktioniert...

PS: Strengenommen beruht aber ja auch "analog"-Technik auf einer abzählbaren ganzzahligen Schritt-Anzahl von Überträgern, nämlich Elektronen (nur dass die Schritte hier noch deutlich kleiner sind als die (schrittweise) rund 0 bis 10¹⁰ Neurotransmitter-Moleküle im synaptischen Spalt von nat. Nervenzellen)

... das hast Du dann ja auch schon selbst bemerkt.


Analog

zu Analog schreibt der Duden: kontinuierlich, stufenlos
Beispiel Physik: analoges Signal (Analogsignal)


Auch wenn analoge Vorgänge auf digitaler Ebene beschrieben werden können, ändert das nichts daran, was sie sind.

Im vereinfachten Modell entspricht die Spannung am Kondensator dem Zellpotential und das ist analog. Der Puls ( oder im Fachjargon "das Aktionspotential" ) ist digital. Er ist entweder da oder er ist nicht da.

"Er ist entweder da oder er ist nicht da." ist eine Betrachtungsweise.

Zum Beispiel: ein Auto auf der Straße ist auch da oder nicht da. Je nachdem, wann ich hinschaue. Deswegen ist seine Bewegung nicht digital.



Da es im biologischen Gehirn sprunghafte Anstiege gibt, plötzliche Entladungen, und die Funktion im Wesentlich auch darauf beruht, will ich mir hier gar nicht gegen einzelne Betrachtungen stellen.





MfG

[HaWe]

Das das nun mehr oder weniger Unsinn ist, wenn man sich betrachtet, wie Analaogtechnik funktioniert
...
"Er ist entweder da oder er ist nicht da." ist eine Betrachtungsweise.
Zum Beispiel: ein Auto auf der Straße ist auch da oder nicht da. Je nachdem, wann ich hinschaue.

naja Moppi, wie es sich anhört bist du ja ein Fachmann auf dem Gebiet der analogen und digitalen, lernfähigen neuronalen Netze, der Physiologie und Anatomie der tierischen und menschlichen Neurone sowie der Informationstheorie...

- - - Aktualisiert - - -

Nein, es funktioniert gemischt: Sowohl analog als auch digital.
...
Bei den meisten praktischen Anwendungen wird zwischen "Training" und "Inferenz" unterschieden. Normalerweise ist das Training auf leistungsstarken Computern mit großen Trainingsdatensätzen durchgeführt. Die spätere Anwendung kann z.B. auf einem relativ schwachbrüstigen Mikrocontroller ( von mir aus mit KI-Beschleuniger wie der Kendryte K210 ) durchgeführt werden.

Das Zellpotential ist eine elektrische Spannung, hervorgerufen durch einen K/Na-Gradienten, ja: hier liegt etwas vor wie eine elektrische Spannung bei Kondensatoren.

Was aber zur Auslösung eines Impulses führt und auch auf trainiertem/gelerntem Verhalten beruht, das hat damit nichts unmittelbares zu tun, denn das läuft NICHT über eine "analoge" elektrische Spannung:
es sind vergleichsweise viel kleinere Zahlen von Molekülen in der Synapse: diese steigen schrittweise von Null auf 5-10 Milliarden an (in zählbaren Portions-Schritten, sowie sie aus einzelnen Vesikeln ausgeschüttet werden), und bei einem bestimmten Zwischenwert (quasi eine Integer-Zahl) dazwischen, bei dem sie an Rezeptoren andocken, wird ein kritischer Grenzwert erreicht. Das ist nicht mehr analog, sondern eben ein digitaler Integer-Zahlenwert: und dies ist das, was die Lernfunktion der Zelle ausmacht.

Sobald diese bestimmte abzählbare Anzahl an Rezeptoren einen Bindungspartner hat, depolarisiert das Neuron kurzfristig komplett, das ist das (digitale) Aktivierungsereignis: beschreibbar als 0 oder 1.

So betrachtet muss man die (analoge) Zellspannung funktionell trennen von den Mechanismen, wie das Neuron lernt und wie es auslöst, und das kann man durch rein digitale Prozesse beschreiben.


Was du über lernfähige Netze schreibst, ist genau das, was lernfähige natürliche Neuronen oder elektronische Perzeptronen ausmachen:
Es ist ein und dieselbe Struktur, die sowohl lernen kann, als auch gelerntes ausführen kann, als auch dann wieder umlernen oder dazu lernen kann, und dann wieder das neu gelernte verbessert oder erweitert wiedergeben kann, und auch dann wieder weiter lernen kann, und genau das macht ein intelligentes System ja aus.
Ein Gerät, welches nur dieses fertige gelernte Wissen wiedergeben kann, ist hingegen nicht intelligenter als eine Schallplatte.

Mir ist nicht klar, inwieweit das analoge Schaltungsbeispiel aus dem TOP zum Lernen fähig ist.