LLM forti solo nel linguaggio? Non proprio: c'è chi li sta allenando nel ragionamento non verbale

I modelli linguistici di grandi dimensioni (LLM) continuano a dimostrare capacità sorprendenti nel comprendere e generare linguaggio. Tuttavia, quando si tratta di affrontare compiti di ragionamento complessi che richiedono una logica astratta, anche gli LLM di dimensioni superiori faticano a offrire risposte sempre coerenti e corrette. Secondo Meta, potrebbe essere l'approccio a essere sbagliato e con un nuovo metodo è possibile ottenere risultati sensibilmente superiori in diversi campi.

Durante la scorsa settimana, un team di ricercatori dell'azienda e dell'Università della California, San Diego, ha proposto un sistema innovativo per affrontare queste difficoltà, spostando l'attenzione dall'elaborazione verbale a quella non verbale attraverso l'uso dello "spazio latente". Questo metodo, descritto in un nuovo articolo sul modello COCONUT (Chain Of CONtinUous Thought), potrebbe rappresentare un cambiamento fondamentale nella progettazione e nell'implementazione dei modelli di intelligenza artificiale.

Meta vuole andare oltre le limitazioni dei modelli tradizionali: ecco in che modo

I modelli attuali utilizzano una "catena di pensiero" per elaborare le informazioni, processo che implica che ogni fase del ragionamento venga espressa attraverso una sequenza di token in linguaggio naturale. Sebbene questo approccio abbia portato a risultati notevoli in molte applicazioni, presenta anche dei limiti che sono sempre più evidenti man mano che il prompt diventa più complesso e estratto. La necessità di tradurre ogni passaggio in linguaggio naturale può ostacolare la capacità dei modelli di gestire situazioni complesse che richiedono un ragionamento più profondo e articolato prima di essere messo per iscritto.

I ricercatori hanno identificato questa dipendenza dal linguaggio come un "vincolo fondamentale", suggerendo che il ragionamento potrebbe beneficiare di un'elaborazione più diretta e meno influenzata dalla verbalizzazione. Il modello COCONUT si propone come una soluzione a questa problematica: l'idea centrale è quella di consentire agli LLM di operare nello spazio latente, dove le informazioni vengono elaborate prima della loro traduzione in linguaggio naturale. Così facendo, i modelli possono ragionare senza essere vincolati dalla necessità di esprimere ogni passaggio in forma verbale, caratteristica che consente una maggiore libertà e flessibilità nel processo decisionale.

COCONUT introduce il concetto di "pensieri latenti" nell'IA generativa, ovvero stati nascosti che sostituiscono i singoli passaggi scritti in una sequenza logica. Questo approccio evita la necessità di convertire continuamente da e verso il linguaggio naturale, liberando il ragionamento dai vincoli imposti dalla verbalizzazione. I ricercatori hanno scoperto che questa modalità di elaborazione consente ai modelli di mantenere simultaneamente più opzioni logiche e percorsi potenziali, facilitando un processo decisionale più efficiente. In particolare, il modello è in grado di eseguire una sorta di "backtracking" istantaneo, ovvero una sorta di monitoraggio a ritroso fra tutte le soluzioni possibili per la scelta di un'unica opzionale finale. Il modello può, quindi, esplorare diverse opzioni logiche contemporaneamente e scartare quelle errate senza dover completare ogni percorso fino alla fine. Questa proprietà emerge anche se il modello non è esplicitamente addestrato a farlo, suggerendo che l'elaborazione nello spazio latente possa favorire un tipo di ragionamento multi-percorso più naturale ed efficace.

I test condotti fino ad oggi con COCONUT hanno mostrato risultati interessanti, soprattutto su compiti complessi che coinvolgono condizioni logiche intricate. Ad esempio, durante le prove di ragionamento generico su query generate casualmente, il modello ha dimostrato una capacità superiore rispetto ai tradizionali sistemi basati sulla catena di pensiero. I modelli standard, infatti, spesso si bloccano in percorsi senza uscita o generano regole inesistenti durante la risoluzione delle catene logiche, COCONUT è riuscito a mantenere una coerenza logica anche in situazioni complicate. Tuttavia, è importante notare che il modello non ha mostrato miglioramenti significativi nelle valutazioni standardizzate come GSM8K (problemi matematici) o ProntoQA rispetto ai metodi tradizionali.

Al momento, quindi, l'approccio nello spazio latente offre vantaggi per compiti complessi, ma potrebbe non essere necessariamente superiore per problemi più semplici o diretti. L'obiettivo dello studio è comprendere le dinamiche interne dei modelli linguistici e sfruttarne le potenzialità per migliorare le prestazioni generali, con la possibilità di addestrare modelli con pensieri continui fin dall'inizio che potrebbe consentire loro di generalizzare meglio su una gamma più ampia di scenari logici. Con ulteriori sviluppi e ottimizzazioni, l'approccio alla base di COCONUT potrebbe diventare uno standard per la progettazione futura degli LLM.

Inoltre, l'esplorazione dello spazio latente offre nuove prospettive anche in settori come la robotica e la pianificazione automatica, dove la capacità dei modelli di operare al di fuori del vincolo linguistico potrebbe rivelarsi cruciale per sviluppare sistemi sempre più autonomi e intelligenti. Con ulteriori sviluppi e applicazioni pratiche, il nuovo metodo potrebbe rappresentare una base concreta sia nel modo in cui noi ci approcciamo alla tecnologia, sia come la tecnologia affronta le sfide del mondo reale.