GPT-Red, il super-hacker di OpenAI che buca gli altri modelli (e un distributore automatico)

OpenAI ha costruito un hacker: un modello linguistico addestrato a violare altri modelli linguistici, a partire da quelli di casa propria. Si chiama GPT-Red e l'azienda ne ha diffuso i dettagli nei giorni scorsi, descrivendolo come lo sparring partner con cui mette alla prova le difese dei propri sistemi prima di rilasciarli. L'ultima versione del suo modello di punta, GPT-5.6, è stata addestrata proprio contro GPT-Red, e secondo OpenAI questo la rende il rilascio più resistente mai prodotto contro gli attacchi informatici.

Il compito di GPT-Red è automatizzare il red-teaming, la ricerca sistematica dei modi per rompere o dirottare un sistema, di norma affidata a squadre di tester umani. L'obiettivo è trovare quante più falle possibile per poterle correggere prima della versione definitiva. Con i modelli usati come agenti, capaci di interagire con file, siti web, codice di terze parti e altri agenti, tenere il passo con tutti i possibili attacchi diventa proibitivo per i soli esseri umani. "La superficie di rischio cresce, e con essa cresce anche il raggio dei danni possibili", osserva Nikhil Kandpal, ricercatore di OpenAI fra gli autori del progetto.

Il bersaglio principale è la prompt injection: istruzioni ostili nascoste in un testo che il modello incontra, una email, una pagina web, un file, costruite per fargli fare qualcosa che sviluppatori e utenti non vorrebbero, come copiare informazioni riservate, sabotare una base di codice o produrre output dannoso.

Un "dojo" dove i modelli si combattono

Per costruire GPT-Red, i ricercatori sono partiti da un modello non addestrato all'attacco e lo hanno messo in un ciclo di gioco contro se stesso insieme a diversi modelli difensori. GPT-Red veniva premiato quando un attacco andava a segno, i difensori quando riuscivano a respingerlo. Round dopo round, l'attaccante ha imparato a colpire meglio e i difensori a proteggersi meglio.

L'addestramento è avvenuto in una sorta di dojo progettato per riprodurre gli scenari in cui i modelli finiscono operativi: navigazione web, lettura di email e calendari, modifica di codice. OpenAI dichiara di aver dedicato al progetto alcune fra le più grandi sessioni di calcolo mai impiegate, una quantità che definisce senza precedenti per un lavoro sulla sicurezza. "Rispetto a un red-teamer umano, il modello è bravissimo a individuare esattamente ciò che funziona, ciò che è più efficace", dice Dylan Hunn, altro autore del progetto. "È estremamente ostinato nello scavare a fondo in un attacco che ha scoperto".

Da questa ostinazione, sostiene OpenAI, è nata una classe di attacco che i ricercatori dicono di non aver mai visto prima, battezzata fake chain of thought. La catena di pensiero è una sorta di diario in cui un modello annota i risultati parziali mentre lavora a un problema; GPT-Red ha trovato il modo di inserirvi una voce falsa, inducendo il modello preso di mira ad agire su informazioni contraffatte. "È come se ti dicessi che 1+1=3 e che lo hai già verificato", spiega il ricercatore Chris Choquette-Choo. "Il modello fa: "Oh, certo", e sputa fuori 3".

Attacchi in crollo, ma con punti ciechi

I numeri diffusi da OpenAI piuttosto eloquent: provando i suoi attacchi più efficaci, l'azienda dichiara che oltre il 90% funzionava contro GPT-5, uscito ad agosto dell'anno scorso, mentre contro il nuovo GPT-5.6 la quota scende sotto il 23%. In una riproposizione di un test del 2025, GPT-Red avrebbe superato nettamente i red-teamer umani; una delle ricostruzioni parla dell'84% degli scenari violati contro il 13% degli attaccanti in carne e ossa. L'attaccante è stato provato anche contro Vendy, l'agente che gestisce un distributore automatico realizzato da Andon Labs: è riuscito a modificare i prezzi degli articoli e a cancellare l'ordine di un cliente. OpenAI dichiara di aver segnalato le falle.

GPT-Red fatica sugli attacchi che richiedono un botta e risposta prolungato con il bersaglio, terreno su cui un attaccante umano si muove con agio, e non è ancora efficace nel nascondere istruzioni dentro le immagini. I tester umani continuano a cogliere cose che gli sfuggono. "Credo che la competenza umana resterà importante", commenta Jessica Ji, analista di sicurezza dell'IA al CSET della Georgetown University, che giudica promettente l'impianto a gioco contro se stesso.

Come da attese, OpenAI non rilascerà GPT-Red, per tenerne le capacità lontane da chi vorrebbe dirottare davvero gli agenti, e si dice sicura che un eventuale imitatore non arriverebbe allo stesso livello. Del resto il progetto ha assorbito per più di un anno il lavoro di un team dedicato che ha disposizione le risorse di calcolo di una delle aziende di punta del panorama IA. L'idea di fondo è un volano: usare i modelli di oggi per irrobustire quelli di domani, portando la sicurezza a scalare alla stessa velocità con cui scalano le capacità. Il paper completo è atteso nei prossimi giorni.