LLM long-term memory è da sempre il tallone d’Achille dei grandi modelli linguistici. Parliamo di sistemi capaci di battere gli esseri umani a scacchi, scrivere codice in produzione, sostenere conversazioni filosofiche — eppure incapaci di ricordare cosa è successo trenta minuti fa in una conversazione lunga. Un ricercatore cognitivo stimerebbe la capacità funzionale della memoria umana attorno a 200-300 milioni di token. I migliori LLM oggi arrivano a 1 milione, con una degradazione che inizia molto prima.

Un paper pubblicato ad aprile 2026 da un team di Evermind e Shanda Group cambia le coordinate di questa discussione. Si chiama MSA — Memory Sparse Attention, ed è il primo framework end-to-end trainabile che scala fino a 100 milioni di token mantenendo una degradazione inferiore al 9%. Con un modello base da 4 miliardi di parametri.

Come funziona la LLM long-term memory in MSA

Il problema dei sistemi di memoria per LLM si riduce sempre allo stesso dilemma: o hai alta fedeltà e costi computazionali proibitivi, oppure hai efficienza e perdi informazioni critiche. I RAG system soffrono del disaccoppiamento tra recupero e ragionamento. I modelli lineari come RWKV o DeltaNet comprimono la storia in stati fissi — e quando la storia è lunga, dimentican o tutto.

MSA risolve questo con un’architettura a sparse attention documentale. Il meccanismo è elegante: ogni documento nel corpus viene codificato in rappresentazioni KV compresse. Al momento dell’inferenza, un router specializzato calcola la rilevanza tra la query e le chiavi di routing, seleziona i Top-k documenti, e li inietta nel contesto dell’attenzione. Solo i documenti rilevanti partecipano alla generazione. Gli altri sono in memoria, ma non occupano banda computazionale.

👉 In breve: è come avere una biblioteca di 100 milioni di pagine, ma leggere solo i paragrafi che servono — e farlo con precisione chirurgica.

Document-wise RoPE: il trucco che permette l’extrapolazione

Un dettaglio architetturale che vale la pena capire è il document-wise RoPE — Rotary Positional Embedding applicato in modo indipendente per ogni documento. La sfida classica dell’extrapolazione è semplice: si addestra su 64K token, si inferisce su 100M token. Con encoding posizionale globale, gli indici di posizione esplodono, e il modello crolla.

Assegnando a ogni documento indici di posizione che partono da zero indipendentemente, MSA decuplica la capacità di generalizzazione senza aumentare il costo di training. Il modello non “vede” la lunghezza totale della sequenza. Vede solo ogni documento come se fosse autonomo — e poi ragiona sulla selezione.

Memory Interleave: il ragionamento multi-hop

I task più complessi non si risolvono con un singolo retrieval. Una domanda come “Quando è nato il padre di Erik Watts?” richiede prima di recuperare che Erik Watts è figlio di Bill Watts, poi di recuperare la data di nascita di Bill Watts.

MSA implementa un meccanismo di Memory Interleave che alterna generazione e recupero in modo iterativo. Il modello genera prima gli ID dei documenti rilevanti, recupera il contenuto, aggiorna il contesto, e ripete il ciclo finché non ha abbastanza evidenza per rispondere. Il numero di round non è fisso — è determinato adattativamente dal modello stesso.

I risultati: MSA-4B contro sistemi 60 volte più grandi

Sui benchmark di Question Answering, MSA con backbone da 4B ottiene un punteggio medio di 3.760 su scala 0-5. Supera sistemi RAG costruiti sullo stesso backbone Qwen3-4B del 16%. Ma il dato più sorprendente è il confronto con sistemi best-of-breed: KaLMv2 + Qwen3-235B ottiene in media 3.506. MSA-4B ottiene 3.760.

Sul test Needle-In-A-Haystack a 1M di token, MSA mantiene il 94.84% di accuratezza. Il backbone non modificato (Qwen3-4B-Instruct) crolla al 24.69% alla stessa lunghezza.

La complessità computazionale è O(L) sia in training che in inferenza. Il preprocessing è offline e ammortizzato su tutte le query. L’inferenza su 100M token gira su 2 sole GPU A800.

LLM long-term memory e il Digital Twin: dove stiamo andando

Quello che MSA dimostra non è solo un’ottimizzazione tecnica. È un cambio di paradigma. Finora memoria e ragionamento erano accoppiati — aumentare l’una significava degradare l’altro. Con questo approccio, i due livelli vengono separati in modo netto: il modello ragiona su ciò che recupera, non su tutto ciò che esiste.

Questa separazione è esattamente quello che serve per costruire sistemi con memoria a scala umana. Il paper cita esplicitamente i Digital Twin come applicazione target — un sistema capace di mantenere una persona digitale coerente nel tempo, attraverso milioni di interazioni, senza dimenticare, senza confondere.

Non siamo ancora lì. Ma MSA dimostra che il percorso è computazionalmente percorribile, con architetture che possiamo già costruire e deployare oggi.

La domanda non è più se sarà possibile. È quando diventerà la norma.

rif:https://arxiv.org/pdf/2603.23516

AI Disclosure

Revisione editoriale assistita dall’intelligenza artificiale.
Ricerca, analisi tecnica e framework concettuale a cura dell’autore.