Quanto costa davvero all'ambiente ogni richiesta AI? Google svela numeri sorprendenti

Google ha rivelato le quantità di energia, CO2 e acqua che vengono consumate da ogni richiesta ai modelli AI Gemini. Secondo i dati pubblicati, il prompt di testo medio consuma 0,24 Wh di energia, emette 0,03 gCO2e e utilizza 0,26 ml d'acqua, l'equivalente di meno di nove secondi di TV accesa. Questi valori tengono in considerazione i consumi non solo dei i chip principali, ma anche di RAM, infrastrutture di supporto e sistemi di raffreddamento.

Negli ultimi 12 mesi, il consumo energetico e le emissioni per prompt sono calati rispettivamente di 33 e 44 volte, pur garantendo risposte più accurate. Miglioramenti hardware e software, unitamente all'uso di data center ultra-efficienti con un PUE medio (Power Usage Effectiveness, indicatore standard utilizzato per misurare l’efficienza energetica di un data center) di 1,09, hanno permesso questi risultati.

Gemini utilizza architetture Transformer avanzate con tecniche come Mixture-of-Experts e distillazione dei modelli. Solo la parte del modello necessaria viene attivata per poter ridurre i calcoli e i trasferimenti di dati di 10-100 volte. Algoritmi ottimizzati e training quantizzato aumentano ulteriormente l'efficienza, mentre l'hardware TPU (Tensor Processing Unit, un tipo di chip progettato da Google specificamente per eseguire calcoli di machine learning) di ultima generazione, Ironwood, risulta 30 volte più efficiente rispetto alle prime versioni.

Google ottimizza anche la gestione dei modelli inattivi e delle richieste variabili e sposta dinamicamente i modelli tra TPU e CPU per ridurre gli sprechi. Oltre a questo l'uso responsabile dell'acqua è garantito grazie a valutazioni scientifiche dei bacini idrici, con l'obiettivo di compensare il 120% del consumo medio.

Il tema del consumo di acqua per il raffreddamento dei sistemi alla base dei modelli di calcolo è di attualità soprattutto in seguito a una recente indagine del New York Time sui data center di Meta. Nei grandi data center, anche con circuiti chiusi per il raffreddamento dei chip, l'acqua continua a essere necessaria perché questi sistemi da soli non bastano a dissipare tutto il calore generato dalle TPU e dalle GPU ad alte prestazioni. Il circuito chiuso all'interno dei server trasferisce il calore dai chip a un fluido refrigerante, ma a livello globale del data center quel calore deve comunque essere disperso nell'ambiente. Qui entrano in gioco le torri di raffreddamento evaporative: l'acqua funge da mezzo per trasportare il calore all'esterno ed evapora in parte per ridurre la temperatura complessiva. Questo metodo è molto più efficiente energeticamente rispetto al raffreddamento esclusivamente elettrico, ma implica che una quantità di acqua venga consumata regolarmente. In pratica, i circuiti chiusi proteggono i chip e riducono perdite locali, ma non eliminano la necessità di utilizzare acqua per gestire il calore su larga scala.

Condividendo la metodologia completa, Google punta a migliorare l'efficienza AI a livello industriale e, in attesa di conseguire i risultati, mostra come ogni richiesta abbia un impatto ambientale molto più basso di quanto stimato precedentemente. Il documento completo con i dettagli tecnici è disponibile su Google Cloud Blog.