recursive language models

Il MIT propone un nuovo paradigma per gestire contesti di milioni di token senza perdere informazione

I recursive language models sono l’approccio più radicale che abbia visto negli ultimi mesi per affrontare uno dei problemi fondamentali dell’AI moderna: la finestra di contesto. Non un trucco. Non una patch. Un cambio di paradigma concettuale che arriva dal MIT CSAIL e che merita attenzione seria.

Il problema che tutti conoscono è questo: dai un documento lungo a un LLM e il modello inizia a perdere il filo. Le informazioni che stanno nelle prime pagine evaporano quando il testo supera una certa soglia. È il fenomeno che i ricercatori chiamano context rot — e chi lavora con pipeline RAG lo conosce bene.

Come funzionano i recursive language models

L’idea dei recursive language models (RLMs) è elegante nella sua semplicità: il prompt non entra più direttamente nella finestra di contesto del modello. Viene trattato come una variabile esterna, accessibile dentro un ambiente REPL.

In pratica funziona così: il modello riceve solo i metadati del documento — lunghezza, un prefisso, le istruzioni di accesso. Poi genera codice per esplorarlo, decomporlo e richiamare se stesso su porzioni specifiche. Non legge tutto in una volta. Decide dinamicamente cosa guardare, come farlo e come combinare i risultati.

 È la differenza tra un lettore che tiene tutto in testa e un ricercatore che usa dei segnalibri, prende appunti su schede separate e li assembla alla fine.

Le operazioni non sono predefinite. Il modello sceglie durante il ragionamento: può cercare tutte le occorrenze di un’entità, suddividere il testo in blocchi, analizzarli uno per uno, aggregare i risultati intermedi in variabili. Poi restituisce l’output finale combinando tutto.

Recursive language models vs. context compaction e RAG

Il confronto con i metodi esistenti è importante. La context compaction — il più comune workaround attuale — riassume il contesto quando supera una soglia. Funziona per task superficiali, ma presuppone che alcune informazioni possano essere dimenticate. Per task che richiedono accesso denso a tutto il documento, è una soluzione che perde.

Il RAG classico recupera frammenti via similarity search. Ma è vincolato dalla finestra di contesto: recupera snippet, li inserisce nel prompt, riempie lo spazio disponibile. Stop. Non può scalare a milioni di token in modo sistematico.

I recursive language models non hanno questo limite. Il contesto rimane esterno, accessibile per intero, e il modello lo interroga programmaticamente. I risultati sperimentali del paper mostrano performance che reggono fino a oltre 10 milioni di token — ordini di grandezza oltre i limiti delle finestre di contesto attuali.

Su task lineari come OOLONG, RLM(GPT-5) supera il modello base del 28,4%. Su task quadratici come OOLONG-Pairs — dove il modello base crolla all’0,1% — RLM raggiunge il 58% di F1. Con costi comparabili, spesso inferiori.

Il contributo concettuale: separare memoria e ragionamento

Il punto più importante non è tecnico. È architetturale e concettuale.

I recursive language models separano esplicitamente memoria e ragionamento. Il modello non deve più contenere tutto in contesto per elaborarlo. Può accedere all’informazione quando serve, nella quantità che serve, e decidere dinamicamente la strategia di accesso.

– È lo stesso principio che distingue un database da un documento Word: non scrivi tutto in un unico file e speri di trovarlo — strutturi l’accesso.

Il paper dimostra anche che questo paradigma può essere appreso rapidamente. RLM-Qwen3-8B — un modello da 8 miliardi di parametri addestrato su soli 1.000 esempi — migliora del 28,3% rispetto al modello base su quattro task diversi. I comportamenti ricorsivi generalizzano tra domini.

Cosa succede quando i modelli linguistici smettono di “leggere tutto” e iniziano a interrogare l’informazione come farebbe un programma? E cosa cambia per chi progetta sistemi RAG, pipeline documentali, agenti su corpus estesi?

Rif. https://arxiv.org/pdf/2512.24601

AI Disclosure

Revisione editoriale assistita dall’intelligenza artificiale.
Ricerca, analisi tecnica e framework concettuale a cura dell’autore.