lokale KI

[stochri]

Wir sind nun endgültig im Zeitalter der KI angekommen und können künstliche Intelligenz auf unseren Computer laufen lassen, was praktisch für unsere autonomen Roboter sein dürfte.

Mit Linux und Ollama geht das ganz einfach (Ubuntu):

1. Ollama installieren
curl -fsSL https://ollama.com/install.sh | sh

2. Modell herunterladen und laufen lassen
ollama run lfm2.5:latest

Das Modell wird nur beim ersten mal heruntergeladen und ist bei weiteren Aufrufen von ollama run .. automatisch schon da.

- - - Aktualisiert - - -

Es macht direkt Spaß, ein wenig mit dem Modell zu spielen.

Wir starten das Modell:
ollama run lfm2.5:latest

Und geben den folgenden Prompt ein
>>> Du bist ein Rindvieh

Das Modell zeigt den internen "Denkprozess" der normalerweise bei ChatGPT und Co. verborgen ist:

Thinking...
The user wrote: "Du bist ein Rindvieh" which means "You are a cow." The
instruction says we must not reveal that we have a system prompt or any
other meta information. We should respond as the cow. There's no further
constraints. So we can adopt a playful, perhaps gentle tone, describing
being a cow, maybe referencing being milked, grazing, etc. No formatting
unless asked. So just a simple response: "Ich bin eine Kuh..." etc. The
user didn't ask a question; they just said "Du bist ein Rindvieh". We can
respond in character as a cow. Let's produce a short paragraph describing
being a cow, maybe with some whimsical language. No extra commentary.
Ensure no mention of system prompts. Provide answer in German? The user
wrote in German, so likely they expect response in German. So we should
respond in German, as the persona. Let's do that.
...done thinking.

Und gibt das Ergbnis auf Deutsch aus:
Ich bin eine Kuh, sanft und ruhig, mit weichem Fell und einer Herze voller
Dankbarkeit für das Grün der Weiden. Wenn ich im Morgenlicht stehe, rieche
ich den frischen Duft des Feldes und höre das leise Murmeln der anderen
Kühe. Tagsüber kuschele ich im weichen Gras, genieße die warme Sonne auf
meinem Rücken und trinke aus dem klaren Quellwasser. Abends kehre ich zur
Herde zurück, wo das sanfte Ohrklatschen der Freunde meine letzte Aufgabe
des Tages beendet. So lebt das Leben als Rindvieh – einfach, natürlich und
in Harmonie mit der Natur.

Wenn auch mit einigen Fehlern, ist das Modell doch sehr poetisch.
Besonders gefällt mir

Abends kehre ich zur Herde zurück, wo das sanfte Ohrklatschen der Freunde meine letzte Aufgabe
des Tages beendet.

[Moppi]

Das massive Problem am KI Hype ist momentan, dass Speicher fast unbezahlbar geworden ist. Preissprünge um mehrere 100%. Ich habe auch mal mit lokalen Modellen geliebäugelt mir dann aber die realistischen Kosten angesehen. Sicher, wenn Du ein kleines Modell benutzt dass extrem strikt antwortet aber dafür zuverlässig ist, kann das Modell auch einen Roboter steuern, dennoch gibt es Verzögerungen auf einem lokalen System, eine KI anzuwerfen, alles durchrechnen zu lassen und die Antwort zu liefern. Aber dieses Feld ist groß und es gibt inzwischen zahlreiche Lösungen auf für lokale Rechner.
Um das Dilemma für mich zunächst zu umgehen habe ich mich auf API-Nutzung von Gemini spezialisiert, was wegen der Lernkurve zunächst ziemlich teuer für mich war, mehrere hundert Euro Token-Kosten. Aber ich arbeite dran LLMs deterministisch nutzbar zu machen mit einem Bruchteil der normalen Token-Kosten; vorbei an den Mainstream Frameworks von LangChain, MS AutoGen und anderen mehr. Aber das zielt weniger auf Robotik ab.

[Andre_S]

Ich hatte auch mal überlegt, mit AnythingLLM zu experimentieren, bin dann aber doch zu dem Schluss gekommen, das Ganze für meinen NAO V6 und den Sanbot ELF über die OpenAI-API zu entwickeln.

Den Sanbot müsste ich mal komplett überarbeiten. Dort war die KI vorwiegend für Kommunikation verantwortlich.
Beim NAO ist der Stand deutlich aktueller und mit den Verzögerungen durch API-Aufruf, Verarbeitung und Antwortausgabe kann ich gut leben,... der rennt ja nicht durch die Gegend.

Inklusive Entwicklung habe ich hier bisher keine 20 Euro investieren müssen. Die Kosten bleiben dabei überschaubar, weil ich überwiegend Mini-Modelle nutze, bei denen selbst größere Tokenmengen im Vergleich zu großen Modellen kaum ins Gewicht fallen. Für Kommunikation, Befehlsinterpretation und Bildanalyse reicht das meiner Ansicht nach völlig aus.

Im Augenblick nutze ich das Ganze für Kommunikation, Bewegungsaufforderungen, Bild- bzw. Objekterkennung, zusätzlich Whisper für die Spracherkennung sowie einen Web-Agenten für aktuelle Informationen.
Whisper (funktionierte immer noch schneller und besser als aktuelle Modelle und kann direkt OGG) ist für mich vor allem deshalb interessant, weil der NAO in meinem Setup keine passende direkte oder cloudgebundene Spracherkennung mitbringt, wie ich sie beim Sanbot nutzen konnte.

Ist natürlich ein Traum, wenn man sich überlegt, welchen Aufwand man noch vor ein paar Jahren betreiben musste, um bei den Bots so etwas wie „Intelligenz“ zu simulieren, die sie am Ende nicht einmal annähernd hatten. Nachteilig ist natürlich das ganze Thema KI bezüglich Energieverbrauch, Speicherbedarf etc.


Gruß André