Oltre 55.000 dollari solo per il raffreddamento: la potenza di NVIDIA costa sempre di più

La prossima generazione di infrastrutture AI di NVIDIA promette prestazioni senza precedenti, ma anche costi di raffreddamento tutt'altro che accessibili. Un rapporto di Morgan Stanley rivela che il sistema di raffreddamento a liquido del rack Vera Rubin NVL144 avrà un costo complessivo di 55.710 dollari, con un incremento del 17% rispetto all'attuale GB300 NVL72 basato su GPU Blackwell Ultra.

Il sistema GB300 NVL72 "Oberon", dotato di 18 compute tray e 9 switch tray, richiede un investimento di circa 49.860 dollari solo per i componenti di raffreddamento. Ogni compute tray, che deve dissipare fino a 6,2 kW di calore, impiega soluzioni a liquido dal costo medio di 2.260 dollari, mentre i moduli NVSwitch aggiungono circa 1.020 dollari ciascuno. Gli elementi più costosi restano i "cold plate" ad alte prestazioni su misura per GPU e CPU, stimati a 300 dollari per unità, e 200 dollari per gli NVSwitch ASIC.

Con l'arrivo della piattaforma Vera Rubin NVL144, le esigenze termiche cresceranno ulteriormente. Le nuove Rubin GPU, insieme ai processori Vera CPU e agli NVSwitch 6.0, raggiungeranno un TDP fino a 1.800W per chip - anche se si mormora di un incremento fino a 2300W.

Questo aumento richiederà cold plate potenziati da 400 dollari per unità e un costo medio per compute tray che salirà a 2.660 dollari, portando la spesa totale di raffreddamento per rack a 47.880 dollari. Solo gli switch tray vedranno una riduzione marginale, con un costo stimato di 870 dollari ciascuno.

Morgan Stanley osserva un chiaro trend: a ogni generazione, NVIDIA aumenta densità di calcolo, ma anche il TDP, e di conseguenza crescerà la complessità delle soluzioni di raffreddamento. Il passaggio da GB200 a GB300 ha comportato un incremento del 20%, mentre il salto successivo a Vera Rubin NVL144 aggiunge un ulteriore 17% (o più).

Guardando al futuro, NVIDIA sta già preparando NVL576 "Kyber", una piattaforma che prevede 576 GPU Rubin Ultra all'interno di un singolo rack. In questo caso, il TDP potrebbe raggiungere i 3.600W per singola GPU (il doppio) e rendere necessari sistemi ancora più sofisticati come raffreddamento a immersione o il cosiddetto "embedded cooling". Cold plate capaci di gestire una tale potenza termica avranno un costo significativamente superiore agli attuali 400 dollari per unità.

La sfida termica di NVIDIA rappresenta uno degli aspetti più critici dell'evoluzione verso infrastrutture AI sempre più dense ed energivore. Con i consumi in crescita e le potenze in gioco che superano i 100 kW per rack, l'efficienza del raffreddamento a liquido diventa non solo una necessità tecnica, ma anche un elemento chiave di ottimizzazione economica nei datacenter di nuova generazione.