Amazon: l'human-in-the-loop non basta a governare gli agenti AI

Il modello human-in-the-loop, l'umano che approva le mosse più delicate di un agente AI prima che venga eseguita, non è il punto di riferimento che il settore crede. A sostenerlo è Eric Brandwine, VP e distinguished engineer di Amazon Security, in un'intervista in cui smonta l'idea che basti mettere una persona nel ciclo decisionale per rendere sicuri gli agenti.

Il punto è che le persone non reggono il compito. "Gli esseri umani non sono molto coerenti. L'human-in-the-loop non è necessariamente lo standard di riferimento", ha dichiarato Brandwine. Chi viene messo ad approvare richieste di agenti una dopo l'altra degrada in fretta: come ha raccontato a The Register, "all'inizio farà un buon lavoro. Poi un lavoro così così. E molto presto lo farà male".

Amazon ha un nome per questo fenomeno, la normalizzazione della devianza: l'erosione progressiva dell'attenzione quando una verifica diventa routine. Brandwine la illustra con le sale d'emergenza ospedaliere, dove gli infermieri smettono di reagire agli allarmi dopo una sequenza di falsi positivi. "C'è letteralmente in gioco la vita di qualcuno, e le persone faticano comunque a mantenere la disciplina. È la condizione umana", osserva. Non è un concetto nuovo nel suo repertorio: ne aveva parlato in un talk all'AWS re:Invent del 2017, e oggi lo applica agli agenti.

La proposta: accountability fino in fondo

L'alternativa che Amazon mette sul tavolo è un'accountability end to end. Invece di un umano che fa da timbro, ogni agente riceve un'identità propria e i log registrano "questo agente ha fatto X per conto di Eric", non "Eric ha fatto X". La responsabilità resta tracciabile fino alla persona, senza pretendere che quella persona approvi manualmente ogni passaggio.

A reggere il sistema è una struttura di policy a tre livelli: guardrail statici che vietano in assoluto certe azioni distruttive, un set massimo di privilegi assegnato a ciascun agente, e policy dinamiche generate in base al task specifico e all'intenzione dell'utente. Sopra tutto pesa una tensione senza soluzione unica: chi usa l'agente lo vuole con permessi ampi per renderlo più utile, i team di sicurezza li vogliono ristretti. La risposta, ammette Brandwine, dipende dal ruolo e dalla tolleranza al rischio.

Gli agenti che si incaponiscono

C'è poi un rischio specifico degli agenti che Amazon chiama goal-seeking behavior. Un agente incaricato di aggiornare un database può fissarsi sulla scorciatoia distruttiva di cancellarlo e ricrearlo, non per un attacco di prompt injection ma perché si blocca sul percorso sbagliato. La contromisura si è rivelata controintuitiva: invece di negare il permesso e basta, conviene spiegare all'agente il perché, per esempio che l'azione «causerebbe un impatto in produzione», e inserire l'istruzione direttamente nel prompt. "Dare quel feedback in più ci ha portato risultati nettamente migliori", riferisce Brandwine.

Sotto c'è una differenza che lui considera dirimente: gli esseri umani temono le conseguenze, perdere il lavoro o finire in prigione, gli agenti no. E gli attaccanti stanno già sfruttando questo scarto. "Abbiamo millenni di esperienza con gli esseri umani. L'AI agentica è un campo nuovissimo", nota.

La posizione di Amazon non è isolata. In aprile il COO di Google Cloud Francis deSouza aveva descritto il passaggio del settore a una difesa "AI-led" supervisionata dagli umani, con una flotta di agenti sul lavoro di routine. Questa settimana il CEO di Microsoft Satya Nadella ha rilanciato su X il concetto di "loop learning", sistemi che migliorano a ogni uso anziché farsi interrompere da un checkpoint umano a ogni passaggio, mentre IBM ha chiesto "human accountability" in ogni fase, bollando l'human-in-the-loop come "liability laundering", un modo per scaricare la responsabilità. Che il tema sia caldo lo dice anche il mercato: questo mese 1Password ha acquisito la startup di access governance Apono per una cifra stimata tra 250 e 300 milioni di dollari.