Inferenza locale, quale setup a Settembre 2026?
Ciao a tutti,
sarei intenzionato ad installare un local LLM per inferenza locale, viste anche le prestazioni sempre migliori e l'hardware sempre più a portata di homelab che stanno evidenziando gli llm cinesi (faccio riferimento a Qwen 3.8).
E' da qualche mese che ci sto ragionando, volevo dapprima aspettare l'uscita del Mac Mini M5 ma visti i problemi di approvvigionamento hardware penso che dovrò accontentarmi di un Mac Mini M4: in relazione a ciò chi ha esperienza di llm in locale potrebbe consigliarmi una configurazione che mi permetterebbe di giocare/sperimentare un po con questi modelli?
Grazie