
Ho adattato un LLM da 0,8B per il RAG in 20 lingue: accuratezza dal 74% al 94%, 7 secondi a domanda su CPU
Volevo un modello RAG multilingue che girasse su CPU. Gli si passa un testo e una domanda, e risponde in base al testo. Se il testo non contiene la risposta, non inventa nulla e risponde: «Non c'è risposta». Ho provato a crearlo adattando Qwen3.5 da 0,8B (800 milioni di parametri). Copre 20 lingue.
Prima, le conclusioni.
- Accuratezza dal 73,8% al 93,8%. È arrivato a un solo punto da Qwen3-4B non adattato (94,7%), pur essendo un quinto delle dimensioni
- Il miglioramento più importante è stato correggere le invenzioni. Lo 0,8B originale, davanti a un testo lungo senza risposta, forniva comunque qualche risposta quasi nel 40% dei casi
- 7 secondi per domanda su CPU. Per leggere un testo di circa 2.500 token e rispondere. Il 4B impiega 60 secondi
- Non sono riuscito a superare il 95%. Anche variando tasso di apprendimento, numero di epoche e quantità di dati, si è fermato intorno al 94%. Sembra il limite delle dimensioni di 0,8B
Cosa ho misurato
Ho creato problemi da Wikipedia in 20 lingue (giapponese, inglese, cinese, croato, hindi e altre). Per ogni domanda, il modello riceve quattro tipi di testo.
- Paragrafo: un breve paragrafo che contiene la risposta
- Contesto lungo: un testo di migliaia di token in cui il paragrafo con la risposta è mescolato ad articoli irrilevanti
- Nessuna risposta (breve/lungo): un testo che non contiene la risposta. È corretto se risponde che non c'è risposta
Chiamo «accuratezza» la media di questi quattro casi. Ho usato Qwen3-32B per creare le domande e valutarle. Per verificare che la valutazione non fosse sbilanciata a favore di Qwen, ho rivalutato tutto anche con gpt-oss-120b, di una famiglia diversa: la differenza era entro 0,5 punti.
Ho verificato anche con problemi di tipo diverso.
- XQuAD: versioni in 8 lingue di domande scritte da persone
- hr0: un test in croato creato in precedenza con un altro modello
Se avessi usato solo problemi costruiti nello stesso modo dei dati di addestramento, non avrei potuto distinguere se il modello fosse semplicemente abituato a quel formato.
Lo 0,8B originale inventa storie quando non c'è risposta
Ecco i risultati di Qwen3.5-0.8B prima dell'adattamento (media su 20 lingue).
| Paragrafo | Contesto lungo | Nessuna risposta breve | Nessuna risposta lunga |
|---|---|---|---|
| 68,9 | 71,0 | 87,9 | 63,2 |
Quando riceve un testo lungo senza risposta, dà comunque una risposta quasi nel 40% dei casi. In hindi otteneva appena 15 punti. Per il RAG è un problema.
Cosa ho provato
Ho eseguito l'addestramento su una RTX PRO 6000 (96GB) noleggiata su vast.ai.
1. LoRA su dati RAG in 20 lingue
I dati di addestramento comprendevano 500 domande per ciascuna delle 20 lingue. Ho creato esempi con i quattro tipi di testo, per un totale di 18.025 esempi. La risposta corretta era una frase; quando non c'era risposta, usavo la formula standard «non c'è risposta» nella rispettiva lingua.
Una singola epoca con LoRA (rank 64), in 1,7 ore.
| Paragrafo | Contesto lungo | Nessuna risposta breve | Nessuna risposta lunga | |
|---|---|---|---|---|
| 0,8B originale | 68,9 | 71,0 | 87,9 | 63,2 |
| Dopo LoRA | 91,7 | 89,0 | 98,4 | 93,4 |
Già così il risultato è salito di colpo. Il caso senza risposta lunga è passato da 63 a 93: le invenzioni sono state quasi eliminate.
Tra l'altro, quando ho provato prima con il 2B, anche addestrando soltanto su 3 lingue (croato, tedesco e turco), tutte e 20 le lingue sono migliorate. La debolezza del modello originale non sembrava essere conoscenza o capacità di comprensione, ma piuttosto l'abitudine a rispondere o rifiutare correttamente seguendo le istruzioni.
2. Con domande scritte da persone, rifiuta troppo facilmente
Provandolo su XQuAD, composto da domande scritte da persone, spesso rispondeva che non c'era risposta anche quando la risposta era presente.
Per esempio, alla domanda «Qual è un altro nome per il rotore?», il paragrafo dice solo «un disco rotante». In problemi di questo tipo, dove domanda e paragrafo usano formulazioni diverse, il modello rifiuta di rispondere.
La causa era nei dati di addestramento. Qwen3-32B, che aveva creato le domande, tendeva a riutilizzare direttamente le formulazioni del paragrafo. Il modello sembrava quindi aver imparato a rifiutare se non trovava le stesse parole.
Ho quindi fatto generare a gpt-oss-120b 400 domande per lingua con dati di natura diversa e li ho aggiunti.
- Domande formulate diversamente rispetto al paragrafo
- Frammenti spezzati, simili a risultati di ricerca
- Articoli fuorvianti, pertinenti ma privi della risposta
- Contesti lunghi da 1K a 8K token
Così, su XQuAD, i paragrafi sono saliti da 79,6 a 83,6 e i contesti lunghi da 75,5 a 79,2. È stato praticamente l'unico intervento efficace questa volta.
Da qui in poi non ho più usato LoRA, ma ho addestrato tutti i parametri. A parità di dati, i risultati erano quasi identici con entrambi gli approcci.
3. Cosa non ha funzionato
| Cosa ho provato | Risultato |
|---|---|
| Triplicare il tasso di apprendimento (1e-5 → 3e-5) | La loss di validazione è chiaramente peggiorata, quindi ho interrotto |
| 2 epoche di addestramento | La loss di validazione è scesa, ma l'accuratezza è rimasta uguale. XQuAD è leggermente peggiorato |
| Raddoppiare i dati di natura diversa | +0,1 sui problemi proprietari. XQuAD e hr0 sono peggiorati |
| Aggiungere domande scritte da persone (SQuAD e TyDi QA) | Effetto contrario. Il caso senza risposta lunga di XQuAD è sceso da 99,8 a 91,2 |
Pensavo che le domande scritte da persone avrebbero aiutato, ma è successo il contrario. XQuAD è creato a partire dai paragrafi di SQuAD. Addestrando su SQuAD, il modello sembra aver imparato che un paragrafo dall'aspetto di SQuAD contiene una risposta. Dati troppo vicini alla valutazione sono rischiosi.
4. Con Q4 la quantizzazione costa un punto
Dato che doveva girare su CPU, l'ho convertito in GGUF di llama.cpp e quantizzato.
Con il 2B, Q4_K_M non causava quasi alcuna perdita. Con lo 0,8B invece è sceso di circa un punto. Più il modello è piccolo, più è sensibile alla quantizzazione. Con Q6_K o Q8_0 il risultato torna su, arrivando a 95,4 sui problemi in croato.
Risultati
Ho confrontato la versione finale da 0,8B con il modello originale e modelli più grandi. Tutti i valori sono la media dei quattro tipi di testo; lo 0,8B e il 2B sono nelle configurazioni per CPU (Q4_K_M).
| Modello | Dimensioni | Problemi in 20 lingue | XQuAD (domande scritte da persone) | hr0 |
|---|---|---|---|---|
| Qwen3.5-0.8B (originale) | — | 73,8 | 74,8 | 72,7 |
| 0,8B (adattato) | 0,67GB | 93,8 | 89,9 | 90,0 |
| 2B (adattato con lo stesso metodo) | 1,56GB | 96,4 | 92,4 | 93,5 |
| Qwen3-4B-Instruct-2507 (senza adattamento) | 2,3GB | 94,7 | 94,0 | 91,2 |
- Lo 0,8B guadagna 20 punti e arriva a un solo punto dal 4B. Il 2B supera il 4B
- Sulle domande scritte da persone (XQuAD), perde ancora 4 punti dal 4B. La debolezza verso domande formulate diversamente non è stata corretta del tutto
- Il 64% dei problemi che lo 0,8B sbaglia viene risolto correttamente dal 2B. Il resto sembra essere il limite delle dimensioni del modello. Se la priorità è l'accuratezza, meglio il 2B
Velocità (CPU di un portatile)
Ho misurato su 8 thread di un i7-11800H. È un portatile in cui, sotto carico prolungato, la frequenza scende circa della metà, quindi i numeri sono piuttosto lenti.
| Lettura del testo (4K token) | Generazione | 1 domanda con contesto lungo | |
|---|---|---|---|
| 0,8B | 314 tok/s | 53 tok/s | circa 7 secondi |
| 2B | 97 tok/s | 21 tok/s | circa 25 secondi |
| 4B | 42 tok/s | 11 tok/s | circa 60 secondi |
Con solo un paragrafo, impiega meno di un secondo.
Costi
In tutto circa 75 dollari su vast.ai. Include anche l'addestramento del 2B e la creazione dei dati per la valutazione.
In sintesi
- Anche con 0,8B, adattandolo al RAG si può arrivare a un'accuratezza intorno al 94%. In particolare, le invenzioni quando manca la risposta vengono quasi eliminate
- Ciò che ha funzionato è stato aumentare la «varietà» dei dati di addestramento. Quantità, numero di epoche e tasso di apprendimento non hanno aiutato
- Per l'accuratezza, 2B; per la velocità, 0,8B. Entrambi mi sembrano più pratici di un 4B non adattato



