Cosa sono le IA, cosa possono fare e come possiamo addestrarle in modo efficace.
▲ 7 r/vibecodingitalia+1 crossposts

Cosa sono le IA, cosa possono fare e come possiamo addestrarle in modo efficace.

Buona domenica a tutti,

oggi mi sono posto il problema di cercare di spiegare le basi dell'AI. Si tratta di una breve guida costituita da fonti ufficiali che partono dal livello base fino ai livelli più avanzati. Se ci sono sviluppatori che vogliono contribuire ad essa per migliorarne il contenuto sono i benvenuti.

Si tratta di risorse gratuite che chiunque può usare dato che l'AI é il futuro dell'automazione.

Il primo é stato scritto dall'Università di Helsinki ed è questo:

https://www.elementsofai.com/?hl=it-IT

Il secondo link é un'espansione del precedente. Spiega la terminologia utile per creare la propria intelligenza artificiale.

https://buildingai.elementsofai.com/?hl=it-IT

Questo é di Andrew NG. Uno dei più esperti nel campo.

https://www.deeplearning.ai/courses/ai-for-everyone?hl=it-IT

lo potete trovare anche sulla piattaforma di Coursera al link seguente.

https://www.coursera.org/learn/ai-for-everyone?hl=it-IT

Per integrare l'AI nella vita quotidiana e nel mondo del lavoro per risparmiare tempo e migliorare la propria produttività queste sono le risorse ufficiali di Google.

https://www.coursera.org/specializations/ai-essentials-google?hl=it-IT

Per costruire soluzioni per l'IA a livello più avanzato ci sono i corsi forniti da Hugging Face

https://huggingface.co/learn?hl=it-IT

Questo é un corso su Python fornito dall'Università di Harvard

https://cs50.harvard.edu/ai/?hl=it-IT

Ed infine per concludere questa prima guida non esaustiva sul mondo delle AI ecco il corso di Google developers dove potete vedere in video e provare con mano mediante esercizi il funzionamento di TensorFlow e del Machine Learning

https://developers.google.com/machine-learning/crash-course?hl=it-IT

Le basi per creare le AI sono il linguaggio Python e TensorFlow.

Per impararli da zero eccovi altri link utili.

https://www.freecodecamp.org/learn/python-for-everyday-data-analysis

Per questo di freecode camp potreste incorrere nell'errore pagina non trovata ma scorrendo la pagina trovate le varie sezioni.

Questo é per automatizzare operazioni che possono essere noiose col Python

https://automatetheboringstuff.com/?hl=it-IT

La guida ufficiale di Python

https://docs.python.org/3/tutorial/?hl=it-IT

La programmazione avanzata con Python

https://cs50.harvard.edu/python/?hl=it-IT

La guida su come scrivere dei prompt efficaci

https://learnprompting.org/?hl=it-IT

Spero che le risorse vi siano utili. Più ne sappiamo e più saremo competitivi in futuro dato che in Cina queste cose vengono insegnate ai bambini dai sei anni in su.

E siamo molto indietro.

Buona lettura e buon uso dell'AI.

u/Medium-Spinach-3578 — 7 days ago
▲ 29 r/vibecodingitalia+1 crossposts

GPT-5.6 è qui: Sol Ultra sfonda il 91% su TerminalBench, ma il governo USA ti deve dare il permesso di usarlo

OpenAI ha appena annunciato GPT-5.6 — e non è il solito aggiornamento incrementale. La serie porta tre modelli (Sol, Terra, Luna), una nuova modalità "ultra" che scompone il lavoro tra sub-agenti, e un rollout che passa attraverso l'approvazione del governo americano cliente per cliente — un meccanismo senza precedenti per un lancio commerciale.

Partiamo dai numeri, perché sono impressionanti.

TerminalBench 2.1 (coding da terminale, planning, tool coordination) — grafico ufficiale OpenAI:

Modello Score
GPT-5.6 Sol Ultra 91.9%
GPT-5.6 Sol Max 88.8%
Claude Mythos 5 88.0%
GPT-5.6 Terra 84.3%
Claude Fable 5 84.3%
GPT-5.5 83.4%
GPT-5.6 Luna 82.5%
Claude Opus 4.8 78.9%
Gemini 3.1 Pro Preview 70.7%

Tre cose saltano all'occhio. La versione base di Sol (Max, 88.8%) batte già entrambi i modelli frontier di Anthropic. La versione Ultra (91.9%) stacca tutti di quasi 4 punti.

Ma la sorpresa vera è Terra: a $2.50/$15 per milione di token (metà del prezzo di GPT-5.5) pareggia Claude Fable 5 (84.3%) e supera GPT-5.5 (83.4%). Non è la fascia "economica sacrificata": è un modello che compete con i frontier a prezzo dimezzato.

E Luna, a $1/$6 (un quinto di Sol), arriva a 82.5% — a un punto da GPT-5.5, che costa 5 volte tanto.

La novità tecnica che abilita questo salto è la modalità "ultra": invece di far ragionare un singolo modello, OpenAI ha costruito un'orchestrazione multi-agente direttamente dentro il modello. Sol Ultra attiva sub-agenti specializzati che si dividono il lavoro su task lunghi e complessi — planning, esecuzione, verifica — in parallelo. Non è un tool separato da attivare: è una modalità di ragionamento nativa del modello.

C'è anche una nuova modalità "max" per il ragionamento profondo (più tempo per pensare, output più meditati), e una partnership con Cerebras che da luglio promette fino a 750 token al secondo su hardware dedicato.

I tre modelli:

Modello Posizionamento Input (1M token) Output (1M token)
Sol Ammiraglia, massima capacità $5.00 $30.00
Terra Bilanciato, competitivo con GPT-5.5 a metà prezzo $2.50 $15.00
Luna Veloce, economico $1.00 $6.00

La famiglia di nomi (Sol, Terra, Luna) non è marketing: identifica tier di capacità permanenti che evolveranno su cadenze indipendenti. Il numero (5.6) indica la generazione; il nome la fascia.

Il governo USA ti deve approvare.

Qui la storia si fa interessante — e per chi lavora dall'Italia o dall'Europa, rilevante.

L'amministrazione Trump ha chiesto a OpenAI di scaglionare il rilascio di GPT-5.6 per ragioni di sicurezza nazionale. L'azienda ha acconsentito: il modello è disponibile solo in limited preview per circa 20 aziende pre-approvate dal governo. L'accesso viene concesso cliente per cliente, con approvazione caso per caso da parte dell'Office of the National Cyber Director e dell'Office of Science and Technology Policy.

OpenAI prevede di allargare l'accesso la prossima settimana e di arrivare a una disponibilità generale "nelle prossime settimane". Ma il meccanismo è chiaro: dopo il blocco dei modelli Anthropic, anche OpenAI si adegua a un processo in cui il governo USA ha l'ultima parola su chi può usare un modello commerciale di frontiera.

Non è un caso isolato. Anthropic ha ricevuto un trattamento più duro: Mythos 5 e Fable 5 sono stati sospesi con un ordine di controllo export che vieta l'accesso anche ai dipendenti non cittadini statunitensi della stessa Anthropic. OpenAI ottiene un accordo più morbido (limited preview invece di sospensione), ma il precedente è lo stesso: i modelli più capaci passano attraverso un filtro governativo.

OpenAI lo dice apertamente nel blog post: "Non crediamo che questo tipo di processo di accesso governativo debba diventare lo standard a lungo termine. Tiene gli strumenti migliori lontani da utenti, sviluppatori, aziende, cyber defender e partner globali che ne hanno bisogno."

Cosa significa per chi sviluppa (in Italia e in Europa):

Al momento, quasi nulla di immediatamente utilizzabile. Se non sei tra le ~20 aziende del programma preview, GPT-5.6 non è disponibile né via API né via Codex né via ChatGPT. L'accesso si allargherà, ma la tempistica è vaga ("prossime settimane") e l'Executive Order sull'AI firmato da Trump a inizio giugno impone all'amministrazione di stabilire entro agosto un processo classificato per valutare i modelli con capacità cyber avanzate — i cosiddetti "covered frontier models".

Per i developer europei, la domanda pratica è: quando GPT-5.6 arriverà sulle API accessibili dall'EU? E soprattutto: arriverà con le stesse funzionalità o con un subset castrato dai controlli export?

Intanto, un dato concreto: Terra ($2.50/$15 per 1M token) è pensato per competere con GPT-5.5 a metà prezzo. Se il rapporto qualità-prezzo regge, potrebbe diventare il default per carichi di lavoro agentici dove oggi si usa GPT-5.5. Luna ($1/$6) è la fascia più interessante per automazioni e pipeline a basso costo — un prezzo che inizia a mordere la fascia media del mercato.

I benchmark vanno presi per quello che sono: numeri diffusi dal vendor. TerminalBench 2.1 è un benchmark rispettabile (task da terminale reali, non quiz accademici), ma i punteggi vengono dal grafico pubblicato da OpenAI — non sono misure indipendenti. Detto questo, il confronto è interno alla stessa metrica e gli avversari (Mythos 5, Fable 5, Opus 4.8) sono esplicitamente nominati e quotati.

Al netto dei caveat, il salto tecnico è reale: l'orchestrazione multi-agente integrata nel modello non è un wrapper, è un cambio di architettura. Se funziona come dichiarato, cambia il modo in cui si progettano workflow agentici complessi — non più "un prompt, una risposta", ma "un obiettivo, N sub-agenti che collaborano".

Voi che ne pensate? L'idea che il governo USA debba approvare chi usa un modello di frontiera vi preoccupa, o è una precauzione sensata per capacità cyber di questo livello?

Fonti:

u/Medium-Spinach-3578 — 9 days ago
▲ 9 r/vibecodingitalia+1 crossposts

Sakana Fugu: i giapponesi non hanno fatto un modello, hanno fatto un "direttore d'orchestra" che pareggia Mythos

Premessa doverosa, perché la notizia sta già girando un po' distorta: Fugu non "batte" Mythos. E soprattutto Fugu non è un modello. Ho letto la pagina ufficiale e il quadro è più interessante di così. Vi spiego.

Cos'è davvero Fugu

Sakana AI (quelli giapponesi delle ricerche evolutive, ex Google Brain) ha lanciato Sakana Fugu, che loro stessi descrivono come "multi-agent system as a model". Tradotto: non è un LLM nuovo addestrato da zero, è un sistema che orchestra dinamicamente altri modelli frontier (Opus, Gemini, GPT e compagnia) e li fa collaborare su un singolo task, esponendo il tutto dietro una sola API OpenAI-compatible.

L'idea di fondo: invece di decidere a mano chi fa cosa, il sistema impara ad assemblare gli agenti da un pool e a coordinarli con schemi di collaborazione che un umano non penserebbe mai. Dietro ci sono due paper per ICLR 2026 — TRINITY (un coordinatore "evoluto" che assegna ruoli Thinker/Worker/Verifier) e Conductor (addestrato in RL per inventarsi strategie di coordinamento in linguaggio naturale).

Ci sono due tagli: Fugu (bilanciato, default per il lavoro quotidiano — in beta si chiamava fugu-mini) e Fugu Ultra (fugu-ultra-20260615, pool di agenti più profondo, ottimizzato sulla qualità per task tosti: riproduzione di paper, Kaggle, analisi di sicurezza, ricerca su brevetti). Hanno fatto girare una beta con quasi 500 utenti prima del lancio.

Dettaglio che a noi che vibecoddiamo interessa parecchio: l'integrazione "ufficiale" col coding è un CLI chiamato codex-fugu (curl -fsSL https://sakana.ai/fugu/install | bash). Uno che ha letto lo script ha scoperto che sotto è semplicemente un wrapper bash da ~390 righe attorno al Codex CLI di OpenAI, lanciato con un profilo -p fugu. Non c'è un CLI proprietario: si appoggiano su Codex e cambiano provider. Pulito, ma è bene saperlo.

E qui la frase su "batte Mythos" va corretta

Sulla pagina dei benchmark Sakana scrive nero su bianco che i modelli Fugu superano i modelli frontier accessibili pubblicamente e sono "alla pari" (shoulder-to-shoulder) con Fable 5 e Mythos Preview. Non "li battono". Pareggio dichiarato.

Aggiungo un dettaglio onesto che nessuno sta sottolineando: nella tabella dei benchmark Mythos e Fable non compaiono nemmeno come colonne. Il confronto numerico vero è solo contro Opus 4.8, Gemini 3.1 Pro e GPT 5.5, perché — parole loro — Mythos e Fable non sono pubblicamente accessibili e quindi non sono nemmeno nel pool di agenti di Fugu. La parità con Mythos resta quindi un'affermazione di Sakana, non un numero che possiamo verificare in tabella. Teniamolo a mente.

Detto questo, contro i frontier pubblici i numeri sono notevoli (Fugu Ultra):

  • SWE-Bench Pro: 73.7 vs 69.2 di Opus 4.8
  • TerminalBench 2.1: 82.1 vs 74.6
  • LiveCodeBench: 93.2, primo del gruppo
  • GPQA-Diamond: 95.5

Sul coding e sull'agentic sta davanti ai modelli che usiamo tutti i giorni. Il che ha senso: se orchestri bene Opus + Gemini + GPT, tiri fuori più del singolo. La domanda interessante è quanto di questo vantaggio è il coordinamento e quanto è semplicemente "ho tre frontier model che votano".

Il punto che a noi italiani brucia

Fugu non è disponibile in UE/EEA. Lo scrivono due volte: stanno ancora lavorando alla compliance GDPR e per ora niente Unione Europea. Dall'Italia, al momento, non lo accendete. Fine.

C'è anche un sottotesto geopolitico che si lega alle notizie delle ultime settimane sui blocchi all'accesso di Mythos/Fable: Sakana vende esplicitamente Fugu come "capacità frontier senza il rischio dei controlli all'export". Cioè: comprano la spinta della narrazione "i modelli americani potrebbero esservi tagliati, noi no". Furbi.

Prezzi (per quando/se arriverà da noi)

  • Fugu Ultra (pay-as-you-go, per 1M token): $5 input / $30 output / $0.50 cached. Raddoppia oltre i 272K di contesto.
  • Fugu normale: paghi la tariffa del modello sottostante più "alto" del pool, senza stacking — un'unica rate, non la somma degli agenti.
  • Abbonamenti: Standard $20, Pro $100 (10× Standard), Max $200 (20× Standard). Chi sottoscrive entro fine luglio 2026 ha il secondo mese gratis.

La mia lettura

La cosa più interessante secondo me non è il benchmark, è il paradigma. Per noi che vibecoddiamo, "sistema multi-agente esposto come un singolo endpoint" è esattamente il pattern che molti di noi si stanno cucinando a mano con orchestratori, router e fallback tra provider. Sakana lo impacchetta e lo vende come prodotto, con il routing che è letteralmente segreto industriale (non ti dicono quali modelli ha usato per la tua query — vedi FAQ).

I dubbi che mi restano: latenza (Ultra dichiarano apertamente che è lento), il fatto che dipendi comunque dai frontier altrui (se Anthropic/Google alzano i prezzi, Fugu se li mangia), e l'opacità totale sul routing. E ovviamente l'irraggiungibilità da qui.

Voi che ne pensate — il futuro del vibecoding è "un endpoint che orchestra tutti gli altri", o è l'ennesimo wrapper venduto bene? E qualcuno è riuscito a provarlo con una VPN/account fuori UE?

Fonti: pagina ufficiale Fugu (sakana.ai/fugu), release blog (sakana.ai/fugu-release), technical report e CLI nel repo SakanaAI/fugu su GitHub, paper TRINITY/Conductor su arXiv.

u/Medium-Spinach-3578 — 13 days ago
▲ 12 r/vibecodingitalia+1 crossposts

Claude Fable 5 è uscito oggi: è il modello Mythos, ma con le guardrails

Anthropic ha appena rilasciato Claude Fable 5. È il primo modello della famiglia Claude 5, e appartiene a un tier nuovo — Mythos — che sta sopra Opus. Fable 5 condivide gli stessi pesi di Claude Mythos 5 (il modello gated che finora era accessibile solo ai partner di Project Glasswing), ma con guardrails aggiuntive per l'uso pubblico.

Il nome non è casuale: Fable viene dal latino fabula ("ciò che viene raccontato"), come il greco mythos. Le guardrails sono la differenza tra i due nomi.

Annuncio ufficiale · System card

Il prezzo. API: $10 per million di token in input, $50 in output. Meno della metà rispetto a Mythos Preview. Più economico anche di Opus 4.8 ($15/$75).

Cosa sa fare, secondo Anthropic:

Stripe ha riportato che Fable 5 ha completato una migrazione su un codebase Ruby da 50 milioni di linee in un giorno — un lavoro che manualmente avrebbe preso un team due mesi. È l'esempio più concreto che Anthropic fa nell'annuncio.

In termini di benchmark: score più alto tra i modelli frontier su FrontierCode di Cognition (anche a effort medio), e primo posto su Hebbia's Finance Benchmark per ragionamento finanziario di livello senior.

La parte più sorprendente: ha battuto Pokémon FireRed con un harness visivo minimale — solo screenshot raw, senza mappe, aiuti di navigazione o informazioni extra sullo stato del gioco. I Claude precedenti avevano bisogno di sistemi di supporto complessi e comunque faticavano.

Sulla memoria a lungo contesto: in Slay the Spire, la memoria file-based ha migliorato le performance 3× rispetto a Opus 4.8, e il modello ha raggiunto l'atto finale 3× più spesso. Più in generale: "più il task è lungo e complesso, più grande è il vantaggio di Fable 5 rispetto agli altri modelli Anthropic."

Le testimonianze dei primi tester sono esplicite: Cursor dice che è SOTA su CursorBench, Replit dice che "one-shot app che un anno fa richiedevano centinaia di prompt", GitHub parla di "un livello di autonomia e affidabilità che supera i benchmark precedenti", ViBench (Lovable) riporta che è il modello più performante sul loro benchmark di vibe coding.

Il trucco delle guardrails.

Questo è il punto che più interessa chi lo usa davvero. Fable 5 non è Mythos 5 senza filtri: ha un sistema di classificatori che, quando rileva richieste potenzialmente dannose, passa automaticamente la query a Opus 4.8. Non è un rifiuto — è un downgrade silenzioso a un modello meno capace.

Anthropic dice che nel 95% delle sessioni non c'è alcun fallback. Per quelle sessioni, le performance sono identiche a Mythos 5. Ma il 5% delle volte, finisci su Opus 4.8 senza averlo chiesto — e vieni informato quando succede.

I tre domini coperti dai classificatori:

  1. Cybersecurity: Mythos 5 ha tassi di exploit dell'88% su Firefox 147 (vs l'8.8% di Opus 4.8). Fable 5, con i classificatori attivi, ha performance cyber quasi identica a Opus 4.8. Se chiedi cose legate alla cybersecurity offensiva, i classificatori scattano e perdi tutto l'uplift Mythos.
  2. Biologia e chimica: Anthropic ha testato Mythos 5 su task di progettazione di virus AAV (usati per terapie geniche, ma anche potenzialmente per scopi pericolosi). Mythos ha superato modelli specializzati in proteine usando solo ragionamento biologico. Per questo, Fable 5 fa fallback su Opus 4.8 per quasi tutte le richieste di biologia e chimica — una copertura molto più ampia di prima.
  3. Distillazione: tentativi di estrarre le capacità di Fable 5 per addestrare modelli concorrenti (Anthropic cita esplicitamente "paesi autoritari"). Anche qui, fallback a Opus 4.8.

Le guardrails sono "deliberatamente conservative" — Anthropic lo ammette. Possono catturare richieste innocue. L'obiettivo è ridurre i falsi positivi dopo il lancio.

Nuova policy data retention.

Per Fable 5, Mythos 5 e futuri modelli Mythos-class, Anthropic richiede retention di 30 giorni su tutto il traffico, sia su superfici proprie che di terze parti. Non useranno questi dati per addestrare nuovi modelli Claude, ma per difendersi da attacchi complessi (inclusi jailbreak che operano su più richieste) e ridurre i falsi positivi. Accesso umano ai dati loggato; cancellazione dopo 30 giorni nella maggior parte dei casi.

È una policy diversa sia dalla retention consumer (5 anni con opt-in per training) sia dall'API standard (7 giorni). Un compromesso specifico per i modelli Mythos.

Disponibilità: attenzione alla finestra temporale.

  • API e piani Enterprise consumption-based: disponibile da subito, senza limiti.
  • Pro, Max, Team, Enterprise seat-based: incluso senza costi extra dal 9 al 22 giugno.
  • Dal 23 giugno: Fable 5 viene rimosso dai piani subscription. Per usarlo serviranno crediti a consumo.
  • Più avanti: Anthropic intende ripristinare Fable 5 nei piani subscription quando la capacità lo permetterà.

In pratica: se hai un piano Pro o Max, hai due settimane per provarlo senza limiti. Poi torna a consumption-based. Anthropic si aspetta domanda molto alta e difficoltà a prevederla.

Per chi fa vibe coding:

Il segnale forte è il caso Stripe e il benchmark ViBench di Lovable. Se Fable 5 può gestire una migrazione su 50 milioni di linee di codice in un giorno e "one-shot" app che prima richiedevano centinaia di prompt, il potenziale per i progetti tipici di vibe coding è evidente. Il pricing API è anche più accessibile rispetto a Opus 4.8.

Però c'è un caveat pratico: se il tuo workflow tocca aree che i classificatori considerano sensibili (security testing, analisi di vulnerabilità anche legittima, richieste di biologia/chimica), rischi il fallback su Opus 4.8. E Opus 4.8 è un modello eccellente, ma non è Mythos.

Attenzione ai consumi: Claude Code segnala che Fable 5 usa i limiti del piano circa 2× più veloce di Opus. In pratica, se sul tuo piano Pro/Max hai un budget di uso giornaliero, Fable 5 lo esaurisce in metà tempo. Più potente sì, ma anche più costoso in termini di quota subscription.

La finestra di due settimane gratuite sui piani subscription è il momento per provarlo seriamente — tenendo conto che il consumo è doppio rispetto a Opus.

Cosa non sappiamo ancora:

  • Benchmark indipendenti: tutti i numeri finora vengono da Anthropic e dai partner citati nell'annuncio
  • Quanto spesso i classificatori scattano su task di coding normali (non solo cyber/bio)
  • La vera esperienza d'uso su Claude Code: il 95% di sessioni senza fallback è il numero Anthropic
  • Come si confronta nel practice con GPT-5.4 o Gemini 3.1 Pro su task reali di sviluppo
  • Quando esattamente Fable 5 tornerà nei piani subscription dopo il 22 giugno

Fonti:

Chi lo sta provando: su task di coding, vi sembra un salto reale rispetto a Opus 4.8?

u/Medium-Spinach-3578 — 26 days ago
▲ 104 r/vibecodingitalia+2 crossposts

Cohere's unreleased coding model (early access for localllama)

Hey, Nick here from Cohere. Thanks for all the feedback on Command A+ the other week everyone. I read these threads all the time about other releases so it was fun to read one about our own :) we would like to do more of it.

We actually have our first coding model we’re getting ready to release soon, and I wanted to give this community an opportunity to test it out and give feedback before we officially release it. Figured why not try something different and get you guys to help directly here? 

It’s a 30B model with 3B active params so it runs nicely on some local set ups. It’s on our Hugging Face for now (more platforms to come as we get the model officially launched soon). This one is small but the team is excited about its speed, we’re seeing token output tests in line with similar models in its size class. 

The weights are here but again this isn’t publicly launched yet (or even fully ready) so i’d encourage you to test the model with what you are trying to achieve. The goal is to build from our learnings with this release and improve the models, so there’s some room for how this gets used now to shape how we continue to develop it. 

Check it out and let me know how it’s working for you. Excited to see what people think. Thank you :)

huggingface.co
u/Medium-Spinach-3578 — 29 days ago
▲ 111 r/IA_Italia+1 crossposts

Dall'Università Sapienza presenta Minerva: la prima famiglia italiana di LLM allenati da zero su testi in italiano

Non so se sono io che uso i sistemi operativi in americano (e quindi mi propone il testo in inglese) ma vedo solo il testo di descrizione in inglese e non c'è un pulsanti per lo switch in italiano =)

Ad ogni modo sono dei modelli che variano da 350M a 7B parametri allenati con focus sull'italiano usando Leonardo al Cineca, scrivono anche di un focus sulla "sicurezza" con con 6 categorie di sicurezza, questi sono i benchmarks (per quel che valgono), insomma c'è tutta la lunga descrizione al link. Riassunto:

>Minerva stands out as a different project, the first initiative to develop LLMs mainly for the Italian language, independent of pre-existing English-trained models. Unlike other models that adapt an English foundation to accommodate Italian, we designed Minerva to have Italian as its core focus from the very beginning. This approach enabled us to tailor our models to the specific features of the Italian language, including its rich vocabulary, complex syntax, and cultural subtleties, areas where English-centric models often fall short

>The Minerva project was not a simple task. We started by training a series of "base" models, ranging from 350 million to 7 billion parameters. A base model is a large language model that has been trained on a diverse range of text data to estimate the probability of a word given its context. This process is often known as pre-training, as the model is simply learning the structure of the language without any specific task in mind. The larger the model, the more parameters it has, which allows it to capture more complex patterns in the data and generate more accurate responses.

>To build our base models, we gathered and curated an enormous amount of Italian text to train our models, including sources like Wikipedia, news articles, books, legal documents, and Web content. Our main sources of text for the Web content are RedPajama v2 and CulturaX, two open collections of data obtained from Common Crawl. The total amount of tokens Minerva sees during its training is more than 2,000,000,000,000 (2 trillion) tokens, the equivalent of more than 15 million books, half in Italian and half in English. The goal was to expose the model to a diverse range of language use, from encyclopedic to conversational, capturing the richness of Italian as it is spoken and written in various contexts. We trained four different versions of Minerva, ranging from a smaller model with 350 million parameters to larger ones with 1 billion, 3 billion, and up to 7 billion parameters. Parameters are essentially the building blocks of these models that help them understand and generate language. By creating different versions, we aimed to provide models that are not only powerful but also accessible to various types of users and applications, from those needing a lightweight model to those wanting the most advanced capabilities

minerva-ai.org
u/Medium-Spinach-3578 — 1 month ago
▲ 902 r/IA_Italia+9 crossposts

Lordx64 released the second model in his open-weights reasoning distillation lineup :

It's a 35B Mixture-of-Experts model (with only ~3B parameters active per token) that's been fine-tuned to imitate the chain-of-thought reasoning style of Kimi K2.6 the frontier reasoning model from Moonshot AI. Apache-2.0, fully open weights.

Frontier reasoning models like Claude Opus 4.7, Kimi K2.6, and GPT-5 produce remarkable structured thinking but they're locked behind proprietary APIs. Distilling that reasoning style into an open-weights student model gives teams the same capability with full control over the inference stack: data sovereignty, no per-token billing, no API rate limits, and the option to deploy entirely on-device. The IQ4_XS quantized version (18.94 GB) runs offline on any 32GB Apple Silicon laptop or a single consumer GPU. That's a frontier-class reasoning model running on hardware most engineers already have. The first model Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled has been downloaded over 48,931 times since launch. It's tuned to imitate Claude's tighter, more concise reasoning style. The new Kimi K2.6 variant uses the same base model and the same training pipeline, with one variable changed: the upstream teacher. Same prompts, same training compute, same architecture only the reasoning style differs. This gives the community a controlled experiment in how much of a model's reasoning behavior is teacher-driven vs base-driven.

FYI in the course of preparing the dataset, Lordx64 tokenized both teacher corpora to compare verbosity. Kimi K2.6's reasoning chains are on average 3.45× longer than Claude Opus 4.7's at "max effort" (mean 2,933 vs 849 tokens, p95 9,764 vs 2,404). The implication for anyone planning their own distillation: verbose-teacher distillations cost roughly 2.5× the wallclock at a fixed sequence length. Worth scoping for ahead of time.

Training details:

• Base: Qwen/Qwen3.6-35B-A3B (256 experts, 8 routed + 1 shared)

• Method: SFT via Unsloth + TRL, LoRA r=16 attention-only

• Data: 7,836 reasoning traces collected from Kimi K2.6 via OpenRouter

• 2 epochs, 980 steps, ~21 hours on a single H200, ~$105 total compute

• 3.44M trainable parameters (0.01% of the base)

Loss descended cleanly from ~0.95 → ~0.83 with steady gradient norms throughout no instability.

Benchmark Status:

Formal benchmark numbers (GSM8K, MMLU-Pro, GPQA Diamond, AIME 2024/2025, MATH-500) are still in the queue and will land on the model card within a week.

Sources : https://huggingface.co/lordx64/Qwen3.6-35B-A3B-Kimi-K2.6-Reasoning-Distilled

https://x.com/lordx64/status/2048463970592534622?s=20

u/Anony6666 — 20 days ago