ChipNeMo, l'asso nella manica di NVIDIA per progettare GPU più velocemente
Nel corso di un evento e un'intervista il Chief Scientist di NVIDIA, Bill Dally, ha parlato di ChipNeMo, un LLM che la società sta sperimentando internamente per accorciare i tempi di sviluppo delle sviluppo delle GPU.
di Manolo De Agostini pubblicata il 03 Novembre 2023, alle 10:11 nel canale Schede VideoNVIDIA
NVIDIA ha recentemente svelato una roadmap aggressiva nella progettazione delle sue GPU per datacenter al fine di preservare la sua quota dominante nel settore dell'intelligenza artificiale. E, come in un circolo virtuoso, quelle GPU potrebbero consentirle di progettare GPU sempre migliori mantenendo fede alle tempistiche prefissate.
Già, perché NVIDIA sta usando le proprie GPU per mettere a punto soluzioni di IA e grandi modelli linguistici (LLM) in grado di supportare gli ingegneri nello sviluppo dei chip grafici, facilitandone il lavoro e velocizzandone i compiti.
Non è la prima volta che ne parliamo, seppur da una sfaccettatura diversa, ma il Chief Scientist della società Bill Dally è tornato a illustrarne i vantaggi alla International Conference on Computer-Aided Design, entrando nel dettaglio di cosa fa ChipNeMo, un LLM che accorcia i tempi di sviluppo di una GPU rispetto al passato.
NVIDIA ha allenato il suo LLM NeMo con dati interni affinché aiuti i progettisti in compiti lunghi e laboriosi relativi alla progettazione dei chip, tra cui rispondere a domande generali sul design della GPU, riassumere la documentazione dei bug e scrivere script per il tool EDA.
ChipNeMo ha l'obiettivo di rendere i designer più produttivi. "Se ottenessimo anche solo un paio di punti percentuali di miglioramento nella produttività, ne varrebbe la pena. E i nostri obiettivi sono in realtà fare un po' meglio di così", ha dichiarato Dally intervistato da EETimes.
NVIDIA ha pre-addestrato ChipNeMo utilizzando un singolo set di dati estratto da repository interni di codice e testo, inclusi documenti sulle architetture, documenti di progettazione e codice base. Dopodiché NVIDIA ha confezionato un sottoinsieme di quei dati.
"Il pre-addestramento sui nostri dati di design consente a un modello più piccolo di funzionare come un modello più grande", ha spiegato Dally. "Alla fine, vogliamo eseguirlo su modelli molto grandi. Per il caso sperimentale, stiamo cercando di imparare molto molto rapidamente. Utilizziamo i modelli piccoli perché possiamo addestrarli più rapidamente, ma l'obiettivo è eseguirlo su alcuni dei nostri modelli più grandi e quindi pensiamo che diventerà ancora più utile perché i risultati miglioreranno".
ChipNeMo conta 43 miliardi di parametri e funziona su una singola GPU Nvidia A100 in "pochi secondi", rispondendo alle domande sulla progettazione dei chip, in particolare da parte dei progettisti junior. "Abbiamo visto che i nostri designer senior trascorrono molto tempo a rispondere alle domande dei designer junior", ha affermato Dally. "Se la prima cosa che il progettista junior può fare è andare su ChipNeMo e chiedere: 'Cosa fa questo segnale che esce dall'unità di memoria?' - e se ottiene una possibile risposta che fa risparmiare tempo al progettista senior, realizzare lo strumento ne è valsa la pena".
Per evitare allucinazioni, cioè interpretazioni errate o percezioni distorte che un modello può avere quando elabora determinate informazioni, NVIDIA ha utilizzato una tecnica chiamata retrieval augmented generation (RAG). "Utilizziamo il prompt iniziale per interrogare un database e recuperare una serie di documenti di origine rilevanti per la particolare query", ha affermato Dally. "Possiamo aggiungerlo al prompt e trasmetterlo a ChipNeMo in modo da poter radicare quella risposta a particolari documenti di origine, il che riduce la tendenza alle allucinazioni e rende le cose più spiegabili".
ChipNeMo può anche riassumere i bug già documentati, operazione davvero lunga sia per chi la fa sia per chi deve informarsi sul problema. "Il riepilogo dei bug è probabilmente la cosa più a portata di mano per ottenere produttività", ha affermato Dally. "Quando viene segnalato un bug, le persone inseriscono ogni genere di cose nel [nostro sistema di bug]... lo strumento è abbastanza efficace nel riassumere un bug in un paragrafo conciso e poi dire: ecco chi dovrebbe provare a risolverlo".
ChipNeMo può anche scrivere brevi script (tipicamente circa 20 righe di codice, ha detto Dally) in Tcl, il linguaggio di scripting standard del settore utilizzato per gli strumenti EDA.
ChipNeMo è destinato al solo uso interno e non sarà commercializzato. "ChipNeMo è abbastanza specializzato nel modo in cui NVIDIA fa le cose", ha detto Dally. "Ad esempio, abbiamo un modo particolare di scrivere gli script e tutti gli script visualizzati sono script NVIDIA, ma è quello che vogliamo, è per uso interno".
La tecnologia è ancora da ritenersi un progetto di ricerca, ma è in fase di test per raccogliere feedback dai designer di NVIDIA e sarà probabilmente applicata in futuro a più casi d'uso nella fase di progettazione dei chip. "Ciò che ci limita nella progettazione di chip sono le risorse umane: vogliamo dare ai nostri progettisti dei superpoteri in modo che possiamo progettare chip migliori e più numerosi con gli stessi progettisti, e questo deve applicarsi a tutte le fasi del processo di progettazione".
6 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoFinché continueranno a vendere, vendere e vendere a scatafasci, i prezzi non potranno che rimanere gli attuali o, più realisticamente, aumentare.
Hanno detto che progetteranno GPU più velocemente non che venderanno a meno prezzo !
Con la diffusione monopolistica dell'hardware Nvidia , SkyNet sarà on line al più presto......
speriamo che nemo risolva l arcano
Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".