LegoGPT, ecco l’Intelligenza Artificiale che trasforma le parole in costruzioni LEGO

Un gruppo di ricercatori della Carnegie Mellon University ha sviluppato LegoGPT, un modello di linguaggio capace di tradurre prompt testuali in modelli Lego fisicamente stabili che possono essere realmente assemblati a mano.

LegoGPT sfrutta un modello autoregressivo basato su LLaMA-3.2-1B-Instruct, riaddestrato per la “next-brick prediction”: il funzionamento è in qualche modo simile alle IA generative testuali, solo che al posto delle parole il sistema prevede tipo, orientamento e coordinate del mattoncino successivo.

Per addestrare il sistema, i ricercatori hanno creato StableText2Lego, un dataset di oltre 47.000 strutture Lego corrispondenti a più di 28.000 oggetti 3D unici. Ogni elemento del dataset è stato ottenuto andando ad elaborare i modelli di ShapeNetCore, un ulteriore dataset di oggetti tridimensionali per l'uso in ambito CAD, che sono stati "reinterpretati" (o, per meglio dire, "voxelizzati") su una griglia tridimensionale di 20x20x20.

Durante l’inferenza, ogni nuovo mattoncino viene sottoposto a un controllo che assicuri l'assenza di collisioni e posizionamenti fuori griglia. Se al termine della generazione la struttura non supera la prova di stabilità simulata, il sistema individua il primo mattoncino instabile, riportando il modello a quello stato e procedendo con una nuova generazione per la porzione di progetto coinvolta.

Questa procedura di "physics-aware rollback" incrementa drasticamente la robustezza delle creazioni: senza di essa solo il 24% dei modelli riuscirebbe a mantenere un assetto stabile, mentre con LegoGPT la percentuale sale al 98,8%.

Per dimostrare l’effettiva possibilità di usare LegoGPT per costruire modellini LEGO, il team ha impiegato una coppia di bracci robotici dotati di sensori di forza e ha coinvolto costruttori umani, confermando che le istruzioni passo a passo producono modelli reali, stabili e fedeli alle descrizioni testuali.

LegoGPT è inoltre capace di comprendere prompt contenenti non solo descrizioni geometriche dell'oggetto da realizzare, ma anche indicanti colore e texture così da poter ottenere il progetto di "un'automobile rossa e gialla" pronta da assemblare.

Come dicevamo, il sistema opera su una griglia 20x20x20 e fa uso di otto tipi di mattoncini standard. I ricercatori prevedono ora di estendere la libreria dei mattoncini e di lavorare con una struttura volumetrica più ampia per consentire la progettazione di strutture più complesse.

Dataset, codice e modelli di LegoGPT sono già pubblicati su GitHub e sul sito del progetto, invitando la comunità a contribuire e a sperimentare nuove applicazioni, mentre su Huggingface è disponibile una versione dimostrativa.