YecoAI

Yeco Flash Mini-IT v1

Micro-LLM italiano da 118M parametri, addestrato con meno di €15, ~200 tok/s su CPU. Batte Minerva-350M (3× più grande) su BoolQ-IT.

Presentiamo Yeco Flash Mini-IT v1, un modello linguistico decoder-only da 118,1M di parametri per l'italiano che dimostra un punto conteso: i modelli linguistici sovrani e utili non richiedono più budget frontier. Addestrato end-to-end con meno di €15 di tempo H100, Flash Mini-IT implementa un tokenizer BPE 32k custom progettato sulla morfologia italiana e un comportamento post-SFT che elimina le modalità di guasto tipiche dei modelli micro. Sulla suite ufficiale ITA-Bench (SapienzaNLP) risponde a BoolQ-IT con 62,5%, sopra Minerva-350M (60,7%), un modello 3× più grande con ~70B token di pretraining alle spalle. Modello, tokenizer e pipeline completa sono rilasciati in Apache 2.0 con model card esaustiva, limitazioni incluse.

Motivazione: il gap dei piccoli modelli in italiano

L'italiano occupa una posizione scomoda nel panorama dei modelli aperti. I checkpoint multilingua più grandi lo trattano come una coda tra cento; i pochi modelli specializzati italiani (MINERVA, Fauno, Camoscio) stanno su 350M-7B parametri con scarsa documentazione delle loro economiche di training. Nel frattempo il costo di un singolo run di pretraining frontier supera il budget annuale della maggior parte dei gruppi di ricerca italiani. Il risultato è un vuoto: nessuna pipeline riproducibile e interamente documentata che mostri quanto costa un LLM italiano minimo e fino a dove arriva.

Flash Mini-IT è stato progettato come esattamente quel punto di riferimento. Ogni decisione di design, tokenizer, architettura, mixture di dati, schedule di training, è stata presa per massimizzare la qualità sull'italiano per euro di calcolo, e ogni numero di questo articolo è misurato su benchmark pubblici, non stimato. Dove il modello perde lo diciamo: la model card riporta i risultati per task completi, inclusi i task dove Minerva-350M vince chiaramente.

Architettura e tokenizer

Il backbone è un transformer decoder-only in stile GPT-2: 12 layer, dimensione nascosta 768, 12 teste di attenzione, pre-LN e weight tying tra embedding di input e proiezione di output. Sopra il calcolo di attenzione standard aggiungiamo un context gate appreso, una scala modulata con sigmoid sui punteggi di attenzione, che stabilizza il training a questa scala e ha migliorato la validation loss nei primi ablation.

Il tokenizer è dove vive la maggior parte dell'ingegneria specifica per l'italiano. Un vocabolario BPE da 32.000 token è stato addestrato da zero su Wikipedia italiana, sostituendo il byte-level BPE di GPT-2 i cui merge erano ottimizzati per l'inglese. Il tokenizer risultante ha una fertility di 1,53 token per parola, una riduzione del 34% rispetto a GPT-2 sullo stesso corpus italiano. Meno token per parola significa contesto effettivo più lungo, meno calcolo di attenzione e generazione più veloce, un vantaggio composto che appare in ogni metrica downstream per unità di calcolo.

Training: due fasi, meno di €15 in totale

Il training è proceduto in due fasi, entrambe su una singola NVIDIA H100 affittata su Modal.

Fase 1, pretraining

  • Corpus: 1,25B token di Wikipedia italiana, impaccati alla lunghezza di sequenza effettiva del modello.
  • Schedule: 10.000 step di ottimizzazione, AdamW, cosine decay.
  • Validation loss finale: 2,8535.
  • Costo: circa $8,75 di tempo H100.

Fase 2, supervised fine-tuning (checkpoint V2)

  • Dati: 310.809 esempi, istruzioni reali italiane (fine-instructions-ita-70k, alpaca-gpt4-it, evol-instruct-it), matematica con chain-of-thought (orca-math-decompositions IT), QA (SQuAD-IT), chat (oasst2-it-top1, italian_conversations), ~500 varianti parafrasate di self-identity e 140k esempi sintetici di matematica/logica con CoT, metà a risposta diretta.
  • Fix chiave: loss masking solo sui token dell'assistente, che ha eliminato la modalità di guasto dell'eco dell'input del checkpoint base (il modello ripeteva la domanda prima di rispondere).
  • Schedule: 28.950 step (3 epoche, batch 32, cosine 1e-4 → 1e-5).
  • Validation loss finale answer-only: 1,9585.
  • Costo: 0,95 ore H100, circa $4.
Costo totale di addestramento
€15
-34%Singola H100, 1,25B token di pretraining più SFT
Fertility del tokenizer
1.53 tok/word
-34%34% migliore di un tokenizer stile GPT-2
BoolQ-IT
62.5
+1.8%Supera Minerva-350M (60,7) con 1/3 della dimensione

Valutazione: misurata, non stimata

Tutti i numeri dei benchmark provengono dai dataset ufficiali ITA-Bench (sapienzanlp/arc_italian, hellaswag_italian, boolq_italian, truthful_qa_italian, gsm8k_italian), valutati con l’harness ufficiale ITA-Bench per la valutazione di LLM su task italiani: accuratezza in percentuale, protocollo zero-shot, finestra di contesto 4k, media di 3 run. I punteggi di Emma-5 550M provengono dal medesimo setup; i valori di Minerva-350M sono quelli del paper (vedi nota sotto la tabella). Sono numeri misurati, non proiezioni.

Lettura onesta dei numeri: Flash Mini-IT vince BoolQ (62,5%, il miglior punteggio del modello nella suite, davanti al 60,7% di Minerva-350M nonostante i 3× di dimensione e ~70B token di pretraining di Minerva), mentre Minerva-350M resta avanti su ARC-Challenge (24,6% contro 23,0%), HellaSwag, TruthfulQA e GSM8K, e nella media delle cinque task (42,5% contro 36,1%). La versione chat (SFT v3) resta anch’essa al 36,1% di media. Il valore dell’SFT si vede nel comportamento più che in questi punteggi: un formato affidabile domanda → risposta → stop, eliminazione dell’eco della domanda e risposte chat strutturate.

  • ARC-Challenge: 23,0% (Emma-5 550M: 22,0%, Minerva-350M: 24,6%)
  • HellaSwag: 26,0% (Emma-5: 31,5%, Minerva: 32,6%)
  • BoolQ: 62,5% (Emma-5: 39,0%, Minerva: 60,7%), vince Flash Mini-IT, miglior punteggio della suite
  • TruthfulQA: 34,5% (Emma-5: 21,0%, Minerva: 46,5%)
  • GSM8K: 34,5% (Emma-5: 39,0%, Minerva: 48,2%)
  • Media sulle cinque task: 36,1% (Emma-5: 30,5%, Minerva: 42,5%)
ITA-Bench: Flash Mini-IT vs Emma-5 vs Minerva-350M
Accuratezza in percentuale su cinque task italiani, più alto è meglio
YecoAI
Harness ITA-Bench, protocollo zero-shot, finestra di contesto 4k, media di 3 run. Minerva-350M: valori dal paper.
Risultati completi ITA-Bench
Accuratezza %, zero-shot, contesto 4k, media di 3 run
TaskYeco Flash Mini-IT 118MEmma-5 550MMinerva-350M
ARC-Challenge23.022.024.6
HellaSwag26.031.532.6
BoolQ62.539.060.7
TruthfulQA34.521.046.5
GSM8K34.539.048.2
Media cinque task36.130.542.5

I valori di Minerva-350M sono quelli del paper (N completo, possibile differenza di few-shot): stesso benchmark e stesso scoring, N diverso. Il paper di Minerva può usare un protocollo di valutazione diverso (numero di esempi few-shot, formato del prompt, normalizzazione del punteggio), quindi parte del divario può dipendere dal protocollo e non solo dai modelli. I confronti con i baseline sono quindi indicativi, non run certificati testa a testa: solo un run di Minerva-350M con il nostro protocollo esatto potrebbe chiudere il confronto. Sul comportamento generativo, il modello post-SFT produce in modo affidabile input → risposta → stop, ha perso il difetto dell’eco ("What is Windows → windows ["), e produce elenchi e prosa sensati su domande di conoscenza generale. I punti deboli sono documentati, non nascosti: l’auto-identificazione è incoerente, il richiamo fattuale a 118M di parametri / 1,25B token inventa dettagli, e il modello imita la forma del ragionamento passo-passo fallendo l’aritmetica.

Uso e riproducibilità

Il formato di prompt SFT è un template di due righe, [CHAT] Utente: {domanda} / Assistente:, con generazione fermata su una sequenza fissa di quattro id token ([END]). Il checkpoint finale (models/best_v2.pt), il tokenizer (models/it_bpe_32k.json), la pipeline di training completa su Modal (train_v2.py), gli script di preparazione dati (scripts/prepare_v2_datasets.py) e l'harness di benchmark (run_real_itabench.py) vengono distribuiti insieme in Apache 2.0. Una chat GUI (chat_gui.py) è inclusa per la valutazione interattiva. Un dettaglio critico è documentato per chi replica: i token speciali di chat non sono nel file di vocabolario, non aggiungerli con add_special_tokens, gli id ≥ 32768 mandano in crash il modello.

Limitazioni

  • 118M parametri: nessun ragionamento complesso; aritmetica inaffidabile.
  • 1,25B token di pretraining: conoscenza enciclopedica limitata; allucinazioni frequenti sui dettagli.
  • Nessuna fase RLHF/DPO; l'allineamento viene solo dai dati SFT.
  • Monolingua: il tokenizer è ottimizzato esclusivamente per l'italiano.
  • I token speciali di chat vivono come sequenze di sub-token, non come voci di vocabolario (vedi nota d'uso).

Prossimi passi

La model card identifica tre leve, in ordine di impatto atteso: pretraining continuo su altri 2-3B token (Wikipedia + QA impaccati, stimato $4-6), l'unica leva che muove ARC/HellaSwag/TruthfulQA; dati di self-identity più aggressivi più un DPO leggero; e un run completo su lm-evaluation-harness con dataset completi per numeri certificati. Flash Mini-IT è volutamente un checkpoint vivo: ogni risultato qui sopra verrà superato man mano che la serie si addestra, e la model card è versionata per rendere ogni passo verificabile. Il modello fa parte della Yeco LLM Series, che raccoglie tutti i modelli YecoAI.

Un LLM italiano interamente documentato, dal tokenizer al benchmark, al prezzo di due pizze. Questo è il piano minimo riproducibile che mancava al dibattito sull'AI sovrana.

Contenuti correlati