Il segreto per far rendere di più i datacenter AI è nel sistema di raffreddamento?

Con l'aumento della potenza assorbita dagli acceleratori dedicati all'intelligenza artificiale, il raffreddamento non rappresenta più soltanto una misura per evitare il surriscaldamento dell'hardware, ma diventa un elemento che può incidere direttamente sulle prestazioni e, di conseguenza, sulla redditività dei datacenter. È questa la tesi sostenuta da Frore Systems in un nuovo white paper dedicato alle future GPU NVIDIA Rubin, le cui conclusioni sono però basate su un modello termico analitico e non su risultati sperimentali.

Secondo l'azienda, intervenire sull'intera catena di dissipazione del calore - dal package della GPU ai materiali di interfaccia termica (TIM), fino alla progettazione del coldplate e alla temperatura del liquido refrigerante - potrebbe aumentare l'efficienza misurata in token generati per Watt di oltre il 30%.

Uno dei punti centrali dell'analisi riguarda la tecnologia proprietaria LiquidJet, un coldplate sviluppato con tecniche produttive derivate dalla fabbricazione dei semiconduttori. A differenza dei tradizionali coldplate in rame realizzati tramite skiving, che impiegano lunghi microcanali lineari, LiquidJet utilizza incisione chimica e processi di bonding per creare una struttura tridimensionale composta da microcanali ottimizzati in funzione della distribuzione delle sorgenti di calore sul chip.

Secondo il modello sviluppato da Frore, questa soluzione consentirebbe di ridurre la temperatura di giunzione (junction temperature) delle GPU NVIDIA Rubin da 6 a 12 °C. Una diminuzione di circa 10 °C si tradurrebbe in un incremento dell'efficienza di generazione dei token intorno al 15%, mentre nei casi migliori il guadagno potrebbe raggiungere un intervallo compreso tra il 10% e il 25% in termini di token per Watt.

La spiegazione è legata al comportamento dei transistor alle alte temperature. Le GPU AI potrebbero arrivare a dissipare fino a 2.400 W e operare vicino ai 95 °C di temperatura di giunzione. Sebbene tali valori rientrino nei limiti di progetto, l'aumento della temperatura comporta una crescita esponenziale delle correnti di leakage, che secondo Frore raddoppiano ogni circa 10 °C. Ciò costringe il sistema di gestione dinamica di tensione e frequenza (DVFS) ad aumentare la tensione di alimentazione o a ridurre le frequenze operative per rispettare i limiti termici, con un impatto diretto sulle prestazioni.

L'azienda ricorda che NVIDIA progetta le proprie piattaforme attorno al valore massimo di temperatura di giunzione (Tj,max), che per Rubin viene assunto pari a 95 °C nell'analisi. Le GPU monitorano costantemente la temperatura tramite numerosi sensori integrati e il firmware regola automaticamente frequenza e tensione per evitare il superamento dei limiti termici, di corrente e di consumo. Anche quando non interviene il thermal throttling, una temperatura inferiore riduce comunque le perdite elettriche e migliora l'efficienza energetica.

Il white paper evidenzia inoltre il ruolo della resistenza termica complessiva, descritta dall'equazione Tj = Tinlet + Q × Rtotal, nella quale la temperatura del liquido in ingresso, la potenza dissipata e la resistenza termica determinano la temperatura finale del silicio. Secondo Frore, ogni elemento della catena - package, materiale di interfaccia e coldplate - contribuisce ad aumentare la temperatura del chip e quindi a ridurne l'efficienza.

Tra le ipotesi più estreme compare anche il cosiddetto delidding, ovvero la rimozione dell'Integrated Heat Spreader (IHS) e del materiale termico posto tra il die e il coperchio del package. Sempre secondo il modello teorico dell'azienda, questa modifica potrebbe abbassare la temperatura della GPU Rubin fino a 20 °C e incrementare l'efficienza fino al 35% in termini di token/Watt.

Frore sottolinea però che questa soluzione comporta importanti compromessi sul piano dell'affidabilità meccanica. Senza l'IHS, il package CoWoS-L di TSMC utilizzato da Rubin diventerebbe più vulnerabile alle sollecitazioni meccaniche e alle possibili rotture dei collegamenti tra i due die della GPU. Anche mantenere una pressione uniforme del sistema di raffreddamento su più chip esposti risulterebbe significativamente più complesso rispetto ai processori monolitici. Nonostante ciò, l'azienda sostiene che alcuni hyperscaler starebbero valutando questa strada per incrementare la produttività dei propri sistemi AI.

Un altro elemento preso in esame riguarda i materiali di interfaccia termica. NVIDIA dovrebbe utilizzare un TIM a base di indio liquido con superfici placcate in oro per compensare la presenza dell'IHS. Frore ritiene però che una GPU priva di IHS, abbinata a un materiale a cambiamento di fase come PTM7950, possa offrire una resistenza termica ancora inferiore, con un vantaggio stimato fino a 14 °C sulla temperatura di giunzione e un incremento teorico dell'efficienza fino al 28%.

L'azienda aggiunge inoltre che un coldplate più efficiente potrebbe migliorare anche l'economia complessiva del raffreddamento dei datacenter. NVIDIA ha progettato Rubin per funzionare con liquido refrigerante in ingresso fino a 45 °C, consentendo in molti casi di ricorrere esclusivamente al cosiddetto free cooling. Secondo Frore, LiquidJet richiederebbe una portata inferiore del liquido per mantenere la stessa temperatura del chip e abbasserebbe il coefficiente di prestazione (COP) minimo necessario affinché l'impiego di chiller meccanici diventi economicamente vantaggioso.

L'intero studio, tuttavia, si basa esclusivamente su un modello matematico della resistenza termica costruito utilizzando parametri pubblici o stimati delle future GPU NVIDIA Rubin e sulle valutazioni interne dell'azienda riguardo l'efficacia delle diverse soluzioni di raffreddamento. Le prestazioni indicate nel documento, comprese le riduzioni di temperatura e gli incrementi di efficienza, non derivano quindi da misurazioni sperimentali effettuate su hardware reale.