Tenstorrent, il potere di Grayskull: le schede per l'intelligenza artificiale di Jim Keller

Tenstorrent, l'azienda guidata da Jim Keller, ha introdotto le schede Grayskull per accelerare l'inferenza. Le due soluzioni, un'alternativa RISC-V alle GPU tradizionali, mirano a soddisfare le esigenze degli sviluppatori con prezzi allettanti.
di Manolo De Agostini pubblicata il 11 Marzo 2024, alle 15:41 nel canale ProcessoriTenstorrent
Tenstorrent, la società diretta dal leggendario progettista di architetture Jim Keller (AMD K7, K8 e Zen, Apple A4 e A5 solo per citarne alcune), ha reso disponibili i suoi devkit Grayskull e75 e Grayskull e150, due schede PCI Express pensate per accelerare l'inferenza.
Le soluzioni di Tenstorrent si basano su una griglia di core noti come Tensix Core che sono in grado di eseguire calcoli tensor piccoli e grandi. Ogni Tensix Core include cinque processori RISC-V, una array math unit per operazioni tensor, un'unità SIMD per operazioni vettoriali, hardware per accelerare compressione e decompressione dei pacchetti e fino a 1,5 MB di SRAM.
Chi è Jim Keller, il mago delle architetture che dovreste conoscere
Ogni processore prevede un'interconnessione che consente la comunicazione diretta senza passare dalla DRAM. "Rispetto alle GPU, i nostri processori sono più facili da programmare, scalano meglio ed eccellono nella gestione della run-time sparsity e del calcolo condizionale".
Con quest'ultimo termine, spiega Tenstorrent, si intende che l'hardware è in grado di applicare euristiche proprietarie per determinare dinamicamente quali parti in un volume devono essere calcolate (eliminando il resto). "Ciò migliora la latenza dell'inferenza e consente all'addestramento di convergere più rapidamente", aggiunge la società.
Il modello Grayskull e75 è da ritenersi la proposta entry-level: si tratta di una scheda PCI Gen 4 low profile con un singolo chip Grayskull e una potenza di 75W. Nonostante quel valore in genere non richieda la presenza di un connettore di alimentazione ausiliaria, Tenstorrent afferma che è presente un connettore PCIe a 6 pin per alimentare la ventola di raffreddamento. Quanto alle specifiche del chip, la società indica:
- Tensix Core: 96
- AI Clock: 1 GHz
- SRAM: 96 MB
- Memoria: 8 GB LPDDR4 @ 102,4 GB/s
- Interfaccia: PCIe 4.0 x16
- TBP: 75 W
- Dimensioni (senza Cooling Kit): 18 x 167,5 x 69 mm
- Dimensioni (con Cooling Kit): 18 x 257 x 98 mm
"Il DevKit Grayskull offre diverse funzionalità su misura per soddisfare le esigenze degli sviluppatori ML che cercano alternative alle GPU tradizionali. Il nostro hardware supporta un'ampia gamma di modelli, garantendo versatilità nei tuoi progetti di intelligenza artificiale", spiega la società, sottolineando che sono cinque i modelli in cui la scheda eccelle: BERT, ResNet, Whisper, YOLOv5 e U-Net.
Grayskull e150, invece, è una proposta ben più potente con un TBP fino a 200W. Di seguito le sue specifiche:
- Tensix Core: 120
- AI Clock: 1.2 GHz
- SRAM: 120 MB
- Memoria: 8 GB LPDDR4 @ 118,4 GB/s
- Interfaccia: PCIe 4.0 x16
- Total Board Power: 200 W
- Dimensioni (senza Cooling Kit): 36 x 260 x 111 mm
- Dimensioni (con Cooling Kit): 36 x 399 x 114 mm
Con i devkit sono forniti i software TT-Buda e TT-Metalium. Il primo serve ad eseguire i modelli immediatamente, il secondo consente di scriverne di nuovi o personalizzare quelli esistenti. Le due soluzioni di Tenstorrent, Grayskull e75 ed e150, sono disponibili rispettivamente a 599 e 799 dollari. Al momento non abbiamo informazioni su come queste soluzioni si comportino in vari carichi e rispetto alla concorrenza.
Per Tenstorrent la disponibilità delle due soluzioni devkit è una notizia importante, ma non l'unica di questo periodo. Ricordiamo che la società ha stipulato una partnership con il Leading-edge Semiconductor Technology Center (LSTC) del Giappone, Paese con cui ha legami molto forti.
12 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoHe Jim ha la spadona!
non sono confrontabili a una gpu nvidia, amd o intel fanno un altro mestiere
Le Grayskull supportano un'ampia gamma di modelli, tra cui:
[LIST]
[*]BERT per l'elaborazione del linguaggio naturale, 0
[*]Whisper per il riconoscimento e la traduzione vocale,
[*]ResNet per il riconoscimento delle immagini,
[*]YOLOv5 per il rilevamento di oggetti in tempo reale e
[*]U-Net per la segmentazione delle immagini, cioè quel processo che partiziona le immagini al fine di individuare regioni di interesse o per scopi di etichettatura.
[/LIST]
Se si, ma uno che ha mobo con 1 sola PC express, questa scheda sostituisce la GPU?
Capisco che e' scheda per AI specifica per usi specifici, ma se non lo fa, un classico utente dovrebbe preferire una GPU che anche Lei ha i tensor cores in una RTZ piuttosto che questa piu' specifica che con GPU ci lavori bene, giochi pure ecc.. corretto?
Se si, ma uno che ha mobo con 1 sola PC express, questa scheda sostituisce la GPU?
Capisco che e' scheda per AI specifica per usi specifici, ma se non lo fa, un classico utente dovrebbe preferire una GPU che anche Lei ha i tensor cores in una RTZ piuttosto che questa piu' specifica che con GPU ci lavori bene, giochi pure ecc.. corretto?
Se al classico utente gli serve il coltellino svizzero prenderà una gpu, se invece gli serve una chiave inglese...
Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".