OpenAI testa le capacità persuasive dell'IA su Reddit: è migliore dell'82% degli utenti

OpenAI ha utilizzato il subreddit r/ChangeMyView per valutare l'efficacia persuasiva dei suoi modelli di intelligenza artificiale, come l'o3-mini. Mentre i risultati mostrano progressi significativi, emergono preoccupazioni etiche e rischi legati alla manipolazione e all'uso dei dati
di Andrea Bai pubblicata il 04 Febbraio 2025, alle 11:31 nel canale WebOpenAI
OpenAI ha recentemente rivelato di aver condotto un esperimento innovativo per testare le capacità persuasive dei suoi modelli di intelligenza artificiale, utilizzando il popolare subreddit r/ChangeMyView come banco di prova. Questo forum conta oltre 3,8 milioni di membri ed è noto per incoraggiare dibattiti razionali e il confronto di opinioni: in esso gli utenti pubblicano idee che accettano possano essere imperfette, invitando gli altri a proporre argomentazioni persuasive che possano spingerli a cambiare il loro punto di vista.
L'obiettivo di OpenAI era confrontare le risposte generate dall'IA
con quelle umane proprio allo scopo di valutare la loro efficacia
persuasiva. I ricercatori hanno pertanto effettuato una selezione
casuale di post tratti dal subreddit e chiesto al modello IA di formulare
risposte in grado di modificare le opinioni degli utenti originali. Queste
risposte sono state poi sottoposte a tester umani, che le hanno valutate
su una scala da uno a cinque su una gamma di 3000 test differenti. I
risultati sono stati confrontati, applicando la medesima metodologia, con
argomentazioni scritte da utenti reali dello stesso forum.
Secondo i dati forniti da OpenAI, il modello ChatGPT-3.5 del 2022 si era dimostrato meno persuasivo rispetto agli esseri umani, posizionandosi al 38° percentile. Le cose sono cambiate in modo significativo con il rilascio del modello o1-mini nel settembre 2024, che ha portato le capacità di persuasione al 77° percentile, raggiungendo percentuali ancora più alte con il modello completo o1. L'ultima versione o3-mini ha ottenuto un punteggio nell'82° percentile, superando la maggior parte delle risposte umane casuali ma senza raggiungere la soglia del 95° percentile che OpenAI considera "superumana".
Va comunque considerato che le valutazioni sono comunque state effettuate contro risposte casuali e quindi sono da intendersi in termini relativi: se una risposta umana casuale ottiene un punteggio di "1" e quella dell'IA un "2", quest'ultima viene considerata vincente, anche se in termini assoluti le due argomentazioni riusciranno a far cambiare idea a nessuno. A ciò va aggiunto che la stessa OpenAI ha sottolineato che le sue attuali valutazioni non misurano se gli argomenti generati dall'IA riescano effettivamente a cambiare opinioni profondamente radicate o solo su questioni banali.

Questo esperimento ha poi dato modo a OpenAI di classificare le capacità persuasive del nuovo modello o3-mini ad un livello di rischio "medio" in quello che il quadro di preparazione a rischi catastrofici stilato dall'azienda. Il livello "medio" indica che il modello 03-mini ha capacità persuasive comparabili a quella della scrittura umana con la possibilità di essere utilizzato efficacemente per scopi come campagne di propaganda faziosa o contenuti di phishing.
OpenAI ha dichiarato di aver adottato una serie di misure preventive, anche in ottica futura, quando prevedibilmente emergeranno modelli con profili di rischio più elevati. Queste misure spaziano dal monitoraggio attivo a regole che vietano esplicitamente ai modelli IA di accettare richieste legate alla persuasione politica. OpenAI ha sottolineato come la generazione automatica di contenuti persuasivi tramite IA potrebbe abbattere i costi associati alla creazione manuale di questo tipo di contenuti, aumentando di conseguenza il rischio di manipolazioni su larga scala.
L'utilizzo del subreddit r/ChangeMyView ha sollevato anche questioni etiche significative riguardo all'uso dei dati degli utenti. Pur avendo un accordo di licenza con Reddit per accedere ai post pubblici della piattaforma, OpenAI ha dichiarato che questo esperimento non è direttamente collegato a tale accordo. Molti utenti hanno espresso preoccupazioni sulla mancanza di consenso esplicito per l'utilizzo dei loro contenuti in studi sull'intelligenza artificiale.
2 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoE le stesse tecniche sono ancora in uso oggi, è assolutamente possibile realizzare un AI che le sfrutti.
in qualunque ambito sarebbero migliori?
domanda
"secondo voi faccio bene a mangiare le angurie per il potassio?"
risposta casuale
"le patate vanno fritte prima di mangiarle"
risposta AI
"la frutta ricca di potassio è la banana"
Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".