Bought it (+ s2 upgrade) for my 37th bday! Any advice before starting?
u/FingerHuman7407 — 6 days ago
u/FingerHuman7407
▲ 5 r/IA_Italia
Questo weekend ho voluto fare un esperimento: ho un Lenovo da gaming del 2018 sul quale ho installato Arch (btw) dal momento che non supporta W11 e con W10 va sempre più lento (lascio le spec nello screenshot allegato al post).
Ho pensato di installare LM Studio per provare qualche modello in locale, immaginando che dal momento che è troppo vecchio non ne avrei ricavato chissà che, e invece sono rimasto piacevolmente sorpreso.
Ci ho messo su un gemma4-e4b e gli ho chiesto di generarmi un JSON con dei dati anagrafici: all'inizio ci ha messo un minuto abbondante e pensavo che era già tanto, ma poi dopo un po' di tweak su context window e offloading della GPU sono arrivato ad ottenere lo stesso risultato in 32 secondi con la bellezza di 24 token al secondo, direi non male per un pc del 2018.
Qualcuno ha provato a spremere del vecchio hardware con gli LLM locali? Mi piacerebbe sapere i vostri risultati
u/FingerHuman7407 — 18 days ago