u/krihab

Hier hat jemand ein 30m Modell auf einem ESP32 realisiert:

https://github.com/slvDev/esp32-ai

Sicherlich ein gutes Projekt, um sich in das Thema LLM und Mikrocontroller einzuarbeiten.

Das neue Qwen 3.8 27 Modell ist gestern herausgekommen. Bei meinem Test auf einer Spark DGX unter llama.cpp läuft es mit knapp 11Token/sec. Für meinen üblichen Testpromt, der eine HTML-Seite mit Animation erstellt hat es mit reasoning knapp eine Stunde gerechnet. Dafür ist das optische Ergebnis aber deutlich besser als bei den vorigen Modellen.

Wie läuft es bei euch?

Heise hat mittlerweile eine genauere Analyse zum Modell veröffentlicht:

https://www.heise.de/news/Lokale-KI-ausprobiert-Das-leistet-Qwen3-8-27B-11415293.html

Hier gibt es ein Interessantes Interview von Heise zum Thema:

KI lokal nutzen: günstig, sicher & datenschutzfreundlich | c't uplink

https://www.youtube.com/watch?v=LBTEnhMskjE