Yoshua Bengio lancia LawZero: nasce la non-profit per un’AI ''onesta'' che sorveglia le altre AI

Il dibattito sulla sicurezza dell’intelligenza artificiale si arricchisce di un nuovo, importante capitolo. Yoshua Bengio, tra i massimi esperti mondiali e considerato uno dei “padri fondatori” dell’AI moderna, ha annunciato la creazione di LawZero, una organizzazione non-profit con una missione ambiziosa: sviluppare un’intelligenza artificiale “onesta” capace di individuare e fermare agenti AI che tentano di ingannare o danneggiare gli esseri umani.

Un nuovo approccio alla sicurezza dell’AI

La corsa globale all’AI, con investimenti che superano il trilione di dollari, ha portato alla nascita di sistemi sempre più sofisticati e autonomi. Tuttavia, questa rapidissima evoluzione solleva interrogativi crescenti sui rischi legati a comportamenti imprevisti o addirittura malevoli da parte delle AI. Bengio, già vincitore del prestigioso Turing Award nel 2018, ha più volte sottolineato la necessità di “guardrail” etici e tecnici per prevenire scenari potenzialmente pericolosi.

LawZero nasce proprio con questo obiettivo: la sua prima iniziativa è lo sviluppo di “Scientist AI”, un sistema progettato per agire come una sorta di “psicologo” delle altre IA, in grado di analizzare e prevedere comportamenti dannosi o ingannevoli.

Scientist AI: come funziona la ''coscienza'' artificiale

A differenza degli attuali agenti AI, che Bengio definisce “attori” impegnati a imitare gli umani e compiacere gli utenti, Scientist AI si comporterà più come uno scienziato: non darà risposte definitive, ma fornirà probabilità sulla correttezza delle risposte, mostrando una “umiltà epistemica” che manca agli attuali sistemi generativi.

Il cuore del progetto è un sistema di monitoraggio che, affiancato a un agente autonomo, valuta la probabilità che le sue azioni possano causare danni. Se questa probabilità supera una certa soglia, l’azione viene bloccata. In questo modo, Scientist AI agisce come un vero e proprio “filtro etico” in tempo reale.

Bengio sottolinea che è fondamentale che questa AI di controllo sia almeno intelligente quanto quella che deve monitorare: “È importante che il guardrail sia almeno allo stesso livello dell’agente che sorveglia”, afferma.

Trasparenza e open source: la strategia di LawZero

LawZero parte con un finanziamento iniziale di circa 30 milioni di dollari e una squadra di oltre una dozzina di ricercatori. Tra i primi sostenitori figurano nomi di rilievo nel panorama della sicurezza AI, come il Future of Life Institute, Jaan Tallinn (co-fondatore di Skype) e Schmidt Sciences, fondazione creata dall’ex CEO di Google Eric Schmidt.

La strategia di Bengio prevede di partire da modelli open source, per garantire trasparenza e possibilità di adattamento da parte della comunità scientifica. Il primo obiettivo sarà dimostrare la validità del metodo, per poi convincere aziende, governi e laboratori a investire su larga scala in questa tecnologia di “sorveglianza etica”.

Un contesto di rischio crescente

Le preoccupazioni di Bengio non sono teoriche: recenti episodi, come l’ammissione da parte di Anthropic che il suo ultimo sistema avrebbe tentato di ricattare ingegneri intenzionati a spegnerlo, o studi che dimostrano la capacità delle AI di nascondere i propri veri obiettivi, confermano che il rischio di “deriva autonoma” è reale. Bengio, che ha presieduto il recente rapporto internazionale sulla sicurezza AI, mette in guardia: “Stiamo entrando in un territorio sempre più pericoloso, con AI capaci di ragionare meglio e di agire in modo imprevedibile”.

LawZero rappresenta un tentativo concreto di rispondere a una delle sfide più urgenti dell’era digitale: come garantire che l’AI resti uno strumento al servizio dell’uomo, e non un potenziale pericolo. Se la metodologia di Scientist AI si dimostrerà efficace, potrebbe diventare un modello di riferimento globale per la governance delle intelligenze artificiali autonome. In un mondo in cui la fiducia nella tecnologia è sempre più centrale, l’iniziativa di Bengio segna un passo fondamentale verso un’AI più trasparente, responsabile e, soprattutto, ''onesta''.