u/nicorevo

Qwen3 Coder 30B MoE + llama.cpp su ultrabook

Condivido la mia configurazione per l'agentic coding in locale su un MSI Prestige 13 (Intel Core Ultra 7, arc gpu, 32GB DDR5 condivisa, Fedora Linux) integrato con OpenCode TUI.

​Il modello scelto è Qwen3-Coder-30B-A3B-Instruct (GGUF Q4_K_M) eseguito tramite llama-server e vulkan per llama.cpp + ​opencode + una mia configurazione SDLC di agent e skills.

Generazione costante a 10–13.5 token/sec con ben 32.768 token di contesto attivi e KV Cache quantizzata a q4_0

Non è un fulmine ma mantiene il contesto discretamente, non sfonda il pc e lo trovo utile per simulazioni e test di api con dati sensibili e apikey.

Consiglio per chi ha hw simile.

reddit.com
u/nicorevo — 4 days ago