Wormhole, acquistabile l'acceleratore di intelligenza artificiale di Tenstorrent basato su RISC-V

Wormhole, acquistabile l'acceleratore di intelligenza artificiale di Tenstorrent basato su RISC-V

Tenstorrent ha reso disponibili agli sviluppatori i nuovi acceleratori di IA Wormhole n150 e Wormhole n300, rispettivamente basati su uno e due chip con core RISC-V. Svelate anche le workstation TT-LoudBox e TT-QuietBox.

di pubblicata il , alle 09:51 nel canale Schede Video
RISC-VTenstorrent
 

Tenstorrent, la startup guidata da Jim Keller, ha presentato Wormhole, un nuovo acceleratore carichi di lavoro IA che promette di offrire buone prestazioni a un prezzo contenuto. In precedenza, la società aveva introdotto le soluzioni Grayskull per l'inferenza.

L'azienda ha presentato due schede PCI Express chiamate Wormhole n150 e Wormhole n300, la prima con un singolo Tensix Processor, la seconda con due. Il prezzo della prima è 999 dollari, mentre per la seconda sono richiesti 1399 dollari.

Oltre alle due soluzioni, Tenstorrent ha proposte anche le workstation TT-LoudBox e TT-QuietBox destinate agli sviluppatori di software, entrambe con quattro acceleratori Wormhole n300: TT-LoudBox è dotata di CPU Xeon e raffreddamento attivo, mentre il TT-QuietBox integra CPU EPYC ed è raffreddata a liquido.

Gli acceleratori sono in grado di funzionare come una singola unità, apparendo come una rete unificata ed estesa di core Tensix, ma possono anche essere suddivisi per gestire fino a otto modelli di intelligenza artificiale distinti contemporaneamente. Il tutto funziona in modo nativo senza bisogno di virtualizzazione.

"È sempre gratificante portare un maggior numero di prodotti nelle mani degli sviluppatori. Rilasciare sistemi di sviluppo con la nostra scheda Wormhole aiuta gli sviluppatori a scalare e a lavorare su software IA multi-chip", ha dichiarato Jim Keller, CEO di Tenstorrent. "Oltre a questo lancio, siamo entusiasti che il tape-out e la fase di power on della nostra seconda generazione, Blackhole, stiano andando molto bene".

Ogni processore Wormhole è dotato di 72 core Tensix (costituiti da cinque core RISC-V che supportano vari formati di dati) con una frequenza di clock di 1 GHz e 108 MB di SRAM per fornire prestazioni pari a 262 TFLOPS con calcoli FP8. Wormhole n150 ha un TDP di 160W e 12 GB di memoria GDDR6 con un'ampiezza di banda di 288 GB/s. Il modello Wormhole n300 offre invece 128 core Tensix a 1 GHz, 192 MB di SRAM, 24 GB di memoria GDDR6 a 576 GB/s e può toccare 466 TFLOPS in FP8 a 300W.

Per fare un confronto con la leader di mercato NVIDIA, l'acceleratore A100 non supporta FP8, ma supporta INT8 e le sue prestazioni di picco sono pari a 624 TOPS (1.248 TOPS con sparsity). Al contrario, H100 supporta FP8 e le sue prestazioni di picco sono pari a 1.670 TFLOPS (3.341 TFLOPS con sparsity) a 300W: un vantaggio notevole rispetto al Wormhole n300 di Tenstorrent.

Gli acceleratori di Tenstorrent hanno però prezzi decisamente più abbordabili, 999 e 1399 dollari, a fronte di un prezzo intorno ai 30.000 dollari per l'H100 di NVIDIA.

3 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
DevilsAdvocate22 Luglio 2024, 10:04 #1
Più che con A100/H100 le confronterei con una 4090, che in int8 fa circa 500 TOPS ed ha anche lei 24GB di Vram.
Costerebbe di listino poco più di queste ma al momento il prezzo è del 30% più alto.
Però è NVIDIA, il che vuol dire miglior software, migliore compatibilità, etc.etc.
io78bis22 Luglio 2024, 10:59 #2
Da qualche parte esiste una tabella di confronto che non siano i Tflops ma un modello IA generico da allenare e usare per capire quanto le varie schede/architettura siano effettivamente meglio/peggio tra loro?
sminatore23 Luglio 2024, 08:34 #3
Ma poi le varie librerie tipo pytorch o tutti i software basati su CUDA ci girano? Il problema è sempre quello mi sembra di capire, ormai tutto è sviluppato per Nvidia

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^