Wormhole, acquistabile l'acceleratore di intelligenza artificiale di Tenstorrent basato su RISC-V

Tenstorrent, la startup guidata da Jim Keller, ha presentato Wormhole, un nuovo acceleratore carichi di lavoro IA che promette di offrire buone prestazioni a un prezzo contenuto. In precedenza, la società aveva introdotto le soluzioni Grayskull per l'inferenza.

L'azienda ha presentato due schede PCI Express chiamate Wormhole n150 e Wormhole n300, la prima con un singolo Tensix Processor, la seconda con due. Il prezzo della prima è 999 dollari, mentre per la seconda sono richiesti 1399 dollari.

Oltre alle due soluzioni, Tenstorrent ha proposte anche le workstation TT-LoudBox e TT-QuietBox destinate agli sviluppatori di software, entrambe con quattro acceleratori Wormhole n300: TT-LoudBox è dotata di CPU Xeon e raffreddamento attivo, mentre il TT-QuietBox integra CPU EPYC ed è raffreddata a liquido.

Gli acceleratori sono in grado di funzionare come una singola unità, apparendo come una rete unificata ed estesa di core Tensix, ma possono anche essere suddivisi per gestire fino a otto modelli di intelligenza artificiale distinti contemporaneamente. Il tutto funziona in modo nativo senza bisogno di virtualizzazione.

"È sempre gratificante portare un maggior numero di prodotti nelle mani degli sviluppatori. Rilasciare sistemi di sviluppo con la nostra scheda Wormhole aiuta gli sviluppatori a scalare e a lavorare su software IA multi-chip", ha dichiarato Jim Keller, CEO di Tenstorrent. "Oltre a questo lancio, siamo entusiasti che il tape-out e la fase di power on della nostra seconda generazione, Blackhole, stiano andando molto bene".

Ogni processore Wormhole è dotato di 72 core Tensix (costituiti da cinque core RISC-V che supportano vari formati di dati) con una frequenza di clock di 1 GHz e 108 MB di SRAM per fornire prestazioni pari a 262 TFLOPS con calcoli FP8. Wormhole n150 ha un TDP di 160W e 12 GB di memoria GDDR6 con un'ampiezza di banda di 288 GB/s. Il modello Wormhole n300 offre invece 128 core Tensix a 1 GHz, 192 MB di SRAM, 24 GB di memoria GDDR6 a 576 GB/s e può toccare 466 TFLOPS in FP8 a 300W.

Per fare un confronto con la leader di mercato NVIDIA, l'acceleratore A100 non supporta FP8, ma supporta INT8 e le sue prestazioni di picco sono pari a 624 TOPS (1.248 TOPS con sparsity). Al contrario, H100 supporta FP8 e le sue prestazioni di picco sono pari a 1.670 TFLOPS (3.341 TFLOPS con sparsity) a 300W: un vantaggio notevole rispetto al Wormhole n300 di Tenstorrent.

Gli acceleratori di Tenstorrent hanno però prezzi decisamente più abbordabili, 999 e 1399 dollari, a fronte di un prezzo intorno ai 30.000 dollari per l'H100 di NVIDIA.