Tenstorrent, il potere di Grayskull: le schede per l'intelligenza artificiale di Jim Keller

Tenstorrent, la società diretta dal leggendario progettista di architetture Jim Keller (AMD K7, K8 e Zen, Apple A4 e A5 solo per citarne alcune), ha reso disponibili i suoi devkit Grayskull e75 e Grayskull e150, due schede PCI Express pensate per accelerare l'inferenza.

Le soluzioni di Tenstorrent si basano su una griglia di core noti come Tensix Core che sono in grado di eseguire calcoli tensor piccoli e grandi. Ogni Tensix Core include cinque processori RISC-V, una array math unit per operazioni tensor, un'unità SIMD per operazioni vettoriali, hardware per accelerare compressione e decompressione dei pacchetti e fino a 1,5 MB di SRAM.

Chi è Jim Keller, il mago delle architetture che dovreste conoscere

Ogni processore prevede un'interconnessione che consente la comunicazione diretta senza passare dalla DRAM. "Rispetto alle GPU, i nostri processori sono più facili da programmare, scalano meglio ed eccellono nella gestione della run-time sparsity e del calcolo condizionale".

Con quest'ultimo termine, spiega Tenstorrent, si intende che l'hardware è in grado di applicare euristiche proprietarie per determinare dinamicamente quali parti in un volume devono essere calcolate (eliminando il resto). "Ciò migliora la latenza dell'inferenza e consente all'addestramento di convergere più rapidamente", aggiunge la società.

Il modello Grayskull e75 è da ritenersi la proposta entry-level: si tratta di una scheda PCI Gen 4 low profile con un singolo chip Grayskull e una potenza di 75W. Nonostante quel valore in genere non richieda la presenza di un connettore di alimentazione ausiliaria, Tenstorrent afferma che è presente un connettore PCIe a 6 pin per alimentare la ventola di raffreddamento. Quanto alle specifiche del chip, la società indica:

• Tensix Core: 96
• AI Clock: 1 GHz
• SRAM: 96 MB
• Memoria: 8 GB LPDDR4 @ 102,4 GB/s
• Interfaccia: PCIe 4.0 x16
• TBP: 75 W
• Dimensioni (senza Cooling Kit): 18 x 167,5 x 69 mm
• Dimensioni (con Cooling Kit): 18 x 257 x 98 mm

"Il DevKit Grayskull offre diverse funzionalità su misura per soddisfare le esigenze degli sviluppatori ML che cercano alternative alle GPU tradizionali. Il nostro hardware supporta un'ampia gamma di modelli, garantendo versatilità nei tuoi progetti di intelligenza artificiale", spiega la società, sottolineando che sono cinque i modelli in cui la scheda eccelle: BERT, ResNet, Whisper, YOLOv5 e U-Net.

Grayskull e150, invece, è una proposta ben più potente con un TBP fino a 200W. Di seguito le sue specifiche:

• Tensix Core: 120
• AI Clock: 1.2 GHz
• SRAM: 120 MB
• Memoria: 8 GB LPDDR4 @ 118,4 GB/s
• Interfaccia: PCIe 4.0 x16
• Total Board Power: 200 W
• Dimensioni (senza Cooling Kit): 36 x 260 x 111 mm
• Dimensioni (con Cooling Kit): 36 x 399 x 114 mm

Con i devkit sono forniti i software TT-Buda e TT-Metalium. Il primo serve ad eseguire i modelli immediatamente, il secondo consente di scriverne di nuovi o personalizzare quelli esistenti. Le due soluzioni di Tenstorrent, Grayskull e75 ed e150, sono disponibili rispettivamente a 599 e 799 dollari. Al momento non abbiamo informazioni su come queste soluzioni si comportino in vari carichi e rispetto alla concorrenza.

Per Tenstorrent la disponibilità delle due soluzioni devkit è una notizia importante, ma non l'unica di questo periodo. Ricordiamo che la società ha stipulato una partnership con il Leading-edge Semiconductor Technology Center (LSTC) del Giappone, Paese con cui ha legami molto forti.