Qwen3.8 27B: für mich das beste lokale Modell bisher. Wie schlägt es sich bei euch, vor allem auf Deutsch?
Die ersten Eindrücke von Qwen3.8 27B sind überragend. Läuft super mit Hermes- und OpenClaw-Agents, bisher keine Halluzinationen, und einigermaßen komplexe Coding-Aufgaben kann es auch. Damit wird es für mich zur Wahl Nummer 1.
Interessant wäre zu hören, wie ihr es empfindet, ob es jemand schon umfangreich getestet hat und vor allem: ob es auf Deutsch genauso liefert oder ob ihr da bessere Modelle kennt.
Mein Setup: RTX 3090 mit 24 GB VRAM, llama.cpp (Vulkan), GGUFs von unsloth (https://huggingface.co/unsloth/Qwen3.8-27B-GGUF). Gemessen mit llama-bench bei 8k Kontext, jede Datei einzeln von kalter GPU (die 3090 throttelt sonst spürbar, Q6 fiel im Dauerlauf von 31,7 auf 23,6):
- Q4_K_M (17,1 GB): 39,9 tok/s, 17,2 GiB VRAM
- Q5_K_M (19,8 GB): 35,9 tok/s, 20,0 GiB VRAM
- Q6_K (22,9 GB): 31,7 tok/s, 22,7 GiB VRAM. Passt bei 8k komplett auf die Karte, ohne Spill.
Cooler Boost-Tipp aus der Community: Die Qwen3.8-GGUFs bringen einen antrainierten Draft-Head fürs Speculative Decoding gleich mit. Das sind die "unused tensor blk.64.nextn"-Warnungen, die beim Laden vorbeiscrollen. Man aktiviert ihn mit zwei Flags:
--spec-type draft-mtp --spec-draft-n-max 2
Ergebnis bei mir: von ~25 auf ~35 tok/s im laufenden Betrieb (Prosa, bei Code 36,6), also +38 bis 45 %, bei 77 bis 91 % Draft-Acceptance.
Es braucht rund 2 GiB VRAM, die kann man aber mit --cache-type-k/v q8_0 größtenteils zurückholen und landet fast wieder beim alten Verbrauch.
Q6 plus MTP passt nicht mehr in 24 GB, und mehr Draft-Tiefe lohnt nicht (bei n=4 fällt die Acceptance auf 64 %, n=2 ist der Sweet Spot).
Die Qualität habe ich mit einem eigenen Frage-Antwort-Benchmark gegengeprüft. Mit und ohne MTP identische Ergebnisse innerhalb der Messtoleranz, weiterhin null Halluzinationen auf allen Quants.
Bin gespannt, wie es bei euch aussieht!