NVIDIA svela la tecnologia che trasforma i lavoratori in 'cyborg aumentati': ecco XR AI

L'intelligenza artificiale sta attraversando una transizione significativa: dai modelli conversazionali e dagli assistenti integrati nei flussi di lavoro digitali, verso sistemi capaci di operare direttamente nell'ambiente fisico. In questo scenario, NVIDIA ha annunciato XR AI, una libreria per sviluppatori progettata per la costruzione di agenti IA in grado di percepire, ragionare e agire in tempo reale attraverso dispositivi di realtà aumentata (AR) e realtà estesa (XR).

La piattaforma si articola attorno a quattro aree funzionali principali. La prima riguarda l'acquisizione di segnali dal mondo reale provenienti da occhiali AR e dispositivi XR: video, audio, dati di profondità, informazioni di posa e letture sensoriali varie vengono inglobati nel sistema per consentire una comprensione contestuale dell'ambiente circostante.

La seconda area riguarda la connessione degli agenti a strumenti e servizi specializzati. In questo ambito, XR AI si integra con NVIDIA Metropolis e il modulo per la ricerca e sintesi video (VSS) per l'analisi visiva, e con NVIDIA NeMo Retriever per il recupero di informazioni da sistemi enterprise tramite tecniche di retrieval-augmented generation (RAG).

Sul fronte dei modelli linguistici e di ragionamento, la piattaforma supporta un ecosistema ampio che comprende i modelli Nemotron di NVIDIA, Cosmos Reason e altri foundation model compatibili. Infine, per quanto riguarda l'orchestrazione e il runtime, NVIDIA NeMo Agent Toolkit gestisce l'uso degli strumenti, i flussi di ragionamento e il coordinamento tra più agenti, mentre l'infrastruttura computazionale è garantita da sistemi come DGX Spark, DGX Station e le piattaforme RTX PRO, con supporto a deployment cloud, datacenter ed edge.

L'obiettivo dichiarato è ridurre la latenza mantenendo al contempo un'esperienza non distraente per l'utente, due requisiti particolarmente critici in ambienti operativi ad alta concentrazione.

Diverse realtà stanno già esplorando o adottando la piattaforma in contesti applicativi concreti. Siemens sta conducendo ricerche sull'utilizzo di XR AI e DGX Spark in ambito manifatturiero: un tecnico dotato di occhiali leggeri può interrogare un agente IA riguardo a un problema su un controllore logico programmabile (PLC) e ricevere indicazioni in tempo reale, con accesso contestuale a sistemi industriali, gemelli digitali e flussi di automazione.

In ambito scientifico, Rana - azienda parte del gruppo AutoBio - ha introdotto il proprio sistema LabOS su XR AI per portare l'intelligenza spaziale direttamente nei laboratori di ricerca. LabOS fornisce una guida procedurale in tempo reale e in modalità mani libere per workflow sperimentali complessi, con un avvio focalizzato sulla terapia con cellule staminali e sulla ricerca di editing genico, in collaborazione con il Cong Lab della Stanford University School of Medicine e il Wang Lab della Princeton University.

Il sistema è in grado di identificare campioni e strumenti CRISPR, guidare ogni fase dell'esperimento e produrre una registrazione strutturata e riproducibile dell'intero processo, anche in scenari di collaborazione tra operatori umani, robot e sistemi IA. LabOS è compatibile con gli smart glasses di Meta, Rokid e VITURE; quest'ultima ha integrato XR AI in un'interfaccia indossabile che consente ai lavoratori di accedere al contesto giusto nel punto esatto di svolgimento del compito.

In sala operatoria, il Surreality Lab del University of Pittsburgh Medical Center ha presentato un'implementazione di XR AI su DGX Station concepita per supportare il team chirurgico con assistenza contestuale. Un aspetto tecnico particolarmente rilevante di questa implementazione riguarda la capacità del sistema di determinare quali porzioni del campo visivo del chirurgo non devono essere occluse, in modo da sovrapporre informazioni utili senza interferire con la visione del paziente e della procedura in corso.

Nel campo del design automobilistico, Innoactive ha sviluppato un'esperienza basata su DGX Spark che consente ai team di preservare il contesto accumulato durante sessioni immersive di revisione progettuale, showroom di prodotto e interazione con gemelli digitali, trasformando sessioni isolate in processi aziendali ripetibili.

Infine, Atlantic Studios - studio di produzione con riconoscimenti agli Academy Awards e agli Emmy - ha integrato XR AI per un'esperienza immersiva interattiva dedicata al relitto del Titanic, consentendo agli utenti di navigare una scansione tridimensionale del sito tramite comandi vocali e ricevere informazioni contestuali in tempo reale.