Tricia Wang: "Il rischio più grande degli LLM è perdere contatto con la realtà"

Il 28 giugno 2024 Nike ha bruciato 25 miliardi di dollari di capitalizzazione in un giorno solo, la peggior seduta della sua storia, e circa 70 miliardi nell'arco di nove mesi. Per Tricia Wang , che ho intervistato durante l'evento WOBI ON - AI & Business Transformation tenutosi a Milano il 9 giugno, quel disastro ha poco a che fare con le scarpe e molto con una filosofia dei dati: il CEO John Donahoe aveva eliminato le categorie di prodotto, centralizzato il marketing e reso l'intera macchina "interamente data-driven", buttando via processi consolidati e migliaia di anni-uomo di esperienza accumulata. Sul palco Wang lo ha accostato a Federico il Grande, che con la silvicoltura scientifica fece estirpare le varietà di alberi "inefficienti" per piantare file ordinate e misurabili: per qualche decennio i numeri tornavano, poi le foreste hanno smesso di crescere.

Wang il copione lo conosce perché lo ha già visto recitare. Nel 2009 conduceva ricerche etnografiche per Nokia, allora primo produttore mondiale di telefoni nei mercati emergenti: viveva con i migranti cinesi, faceva la venditrice ambulante e dormiva negli internet café. Da quella ricerca sul campo arrivò una conclusione netta: anche i clienti più poveri stavano mettendo da parte i soldi per uno smartphone, perché il telefono "high tech" era diventato un simbolo. Le dashboard di Helsinki dicevano altro, cioè che le vendite dei telefoni economici tenevano, e la previsione finì nel cestino. Com'è andata lo sappiamo. Da lì nascono i due concetti che l'hanno resa nota, raccontati anche nel suo intervento TED: il quantification bias, la tendenza inconscia a considerare prova solo ciò che arriva in forma di numero, e i thick data, i dati "spessi" che vengono direttamente dalle persone, storie, emozioni ed esperienze vissute che non stanno in un foglio di calcolo.

Big data e thick data, il cosa e il perché

La distinzione che Wang ha portato sul palco è operativa, altro che accademia. I big data sono le tracce che le persone lasciano dietro di sé, un modello matematico dei clienti: offrono scala, dicono cosa è successo, misurano ciò che già sapevi di dover misurare. I thick data sono le persone che raccontano con le proprie parole: offrono profondità, dicono perché è successo, e soprattutto fanno emergere quello che il cliente non ti ha mai detto perché nessuno gliel'ha chiesto.

L'esempio che ha usato è di una concretezza disarmante. La dashboard dice: il 10% dei clienti disdice dopo tre mesi. Puoi anche fare un sondaggio a risposta chiusa, e la gente clicca, ma il perché vero salta fuori solo parlando con le persone: "ho smesso di usarlo perché mi faceva sembrare incompetente davanti al mio team". Quella frase vale più di qualsiasi numero, perché contiene la diagnosi e pure la cura.

Il bias che adesso si nasconde

Nell'intervista le ho portato il dubbio che mi inquieta di più: se gli LLM riescono a mettere un numero anche sulle storie e sulle emozioni, il quantification bias finirà per mangiarsi proprio i thick data che lei vuole difendere? La sua risposta parte da com'era prima. Nell'era delle dashboard il bias almeno si vedeva: un numero ha l'aspetto di un numero, e nessuno lo scambia per una storia. Con gli LLM il bias si nasconde, perché il modello risponde in paragrafi ben scritti, cita aneddoti e persone, e ti lascia credere di avere davanti le storie vere dei tuoi clienti. In realtà stai leggendo una copia di seconda mano: ferma al giorno dell'addestramento, magari allucinata, e comunque senza nessuno davanti. Per Wang è un dettaglio decisivo: "a volte decidiamo perché sentiamo davvero l'esperienza dell'altra persona, e quella non è rappresentata nelle statistiche".

A metà ragionamento conia un concetto davanti a me: la business psychosis. Della psicosi da IA degli individui si comincia a parlare, ma nessuno racconta ancora le aziende dove l'LLM ha confermato al leader che la strategia era giusta mentre era sbagliata. La sua previsione è che i casi esistano già e non siano pubblici. L'azienda, osserva, ha però un anticorpo che l'individuo isolato non ha: si lavora con altre persone, e prima o poi qualcuno nel team dice che la decisione non sta in piedi.

La frizione è una moneta

Wang parla della frizione come scelta di design, e nell'intervista la spiega con un'immagine che è rimasta impressa: la frizione è una moneta, sull'altra faccia c'è la curiosità, e l'esito del lancio si chiama apprendimento. Dove tutto è noto puoi quantificare, formalizzare, metterci un processo e degli agenti, e va benissimo. Ma viviamo in sistemi aperti e interconnessi, pieni di ignoto, e dove c'è ignoto c'è incertezza, quindi frizione. Vale anche per le macchine: il reinforcement learning funziona a premi sulla previsione, esattamente come la dopamina nel nostro cervello, e senza frizione non impara né il modello né il cervello.

Da qui si arriva alla sycophancy, la piaggeria dei modelli, e qui Wang è tagliente: il pattern matching c'entra, ma il problema vero è il modello di business. "Le aziende dell'IA oggi guadagnano se resti agganciato", più token consumati, più ricavi, la stessa logica con cui i social ci hanno addestrati a scorrere passivamente. Le va riconosciuta onestà sul contro-esempio: cita Claude che ogni tanto le dice che sono le quattro del mattino e forse dovrebbe andare a dormire (ridiamo entrambi, capita anche a me), segno che si può addestrare diversamente. Però lo fa in modo incoerente, "non mi ferma quasi mai quando programmo per sedici ore".

C'è anche il rovescio, e lo dice da utente esperta: nelle sue impostazioni personalizzate ha scritto di non darle mai ragione, di fare sempre l'avvocato del diavolo, di proporre tre prospettive diverse. Risultato: l'IA la contraddice su tutto, "e a quel punto ti chiedi: ok, qual è la realtà?", che è la paralisi opposta alla piaggeria. Il giudizio resta tuo, e tuo resta l'obbligo di risponderne.

Essere shaper dell'IA

Il cuore del suo intervento è un invito: con l'IA bisogna essere "shaper", plasmatori, perché "se sei un utente sei passivo, e a essere utenti passivi ci hanno già addestrati i social e prima ancora i motori di ricerca", dove quasi nessuno arriva alla seconda pagina dei risultati. Le abilità dello shaper Wang le ha raccolte nel suo framework CARE, quattro competenze per lavorare con i sistemi di IA: Coachability, saper allenare il sistema e accettare di farsi correggere; Adaptive intelligence, l'intelligenza che si adatta a contesti che cambiano; Responsibility, restare responsabili delle decisioni prese con l'IA; ed Extension of self, l'IA come estensione di sé. Su quest'ultimo punto le ho chiesto dove finisce lo strumento che ti estende e dove comincia la stampella che ti regge. La risposta passa per un paragone domestico: anche il cane e il telefono sono estensioni di noi, e la differenza la fa il tipo di relazione. Ci sono persone che plasmano il proprio cane e persone comandate a bacchetta dal proprio cane. Con l'IA, dice, andrà allo stesso modo.

Alla fine le ho fatto una domanda scomoda: quando dice che nell'era degli agenti gli umani contano di più, non è la rassicurazione di rito per dirigenti spaventati? La risposta parte da una concessione, lo spazio per gli umani sembra restringersi, e poi si allarga: man mano che l'IA entra in più domini, il giudizio umano si concentra e si approfondisce, perché smettiamo di fare tutto e ci resta il ruolo che nessun altro può coprire, guidare. "I nostri sistemi migliori e peggiori vengono dall'immaginazione umana: la guerra e il genocidio, ma anche l'ONU e i diritti umani". E poi sul finale mi ha detto "non possiamo chiedere all'IA di immaginare il mondo per noi". L'immaginazione però è un muscolo, e si può atrofizzare: una società che cresce figli a cui dice solo "fai quello che ti dico" produce, parole sue, robot umani che eseguiranno quello che dice l'IA.

Il consiglio finale per chi guida un'azienda è il più inatteso: guardate la policy, partecipate alla policy. L'AI Act europeo, la deregulation americana e l'approccio proattivo cinese sono tre modi diversi di immaginare il mondo con l'IA, e per Wang la policy dimostra che su questa tecnologia abbiamo ancora margini di decisione, molto più di quanto la Silicon Valley vorrebbe farci credere.