NVIDIA presenta un supercomputer per l'IA generativa low-cost, il regalo di Natale di Jensen Huang

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/sistem...ng_133914.html

Jetson Orin Nano Super offre un miglioramento fino a 1,7 volte nelle prestazioni di intelligenza artificiale generativa, supportando i modelli più diffusi per hobbisti, sviluppatori e studenti. Il prezzo di 249 dollari.

Click sul link per visualizzare la notizia.

[jepessen]

Ma sara' possibile acquistarlo per noi comuni mortali o bisogna superare una trafila commerciale per cui o sei un'azienda o nisba? Perche' sinceramente mi interesserebbe...

[s12a]

È una porcheria con praticamente hardware da smartphone, non un supercomputer.
GPU dalla potenza ben al di sotto di una RTX3050, 8GB DDR5 da 100GB/s di banda a malapena.

[Saturn]

La parola "regalo" e il nome di "Jensen Huang" nella stessa frase, nella stessa riga, nella stessa pagina, nello stesso sito, nello stesso pianeta, nello stesso universo, nella stessa dimensione spazio-temporale non possono coesistere.

[Gyammy85]

Originariamente inviato da s12a

È una porcheria con praticamente hardware da smartphone, non un supercomputer.
GPU dalla potenza ben al di sotto di una RTX3050, 8GB DDR5 da 100GB/s di banda a malapena.

"buongiorno carissimo, ho fra le mani un prodotto incredibile da parte del suo fornitore di soluzioni ia reconstructed tracing aziendaleh!"

"ah sì???? quanto costa?"

"solo 350 euro praticamente un caffè semi bevibile!"

"ohhhh subito 1000 qui nelle mie mani! ma funziona?"

"bohhhhh"

E' il brand awareness

[supertigrotto]

Già visti i modelli prima ma nei kit dei bracci robotici cinesi su AliExpress,e qualcosa in qualche drone quadricottero.
Comunque tutte parolone,allora visto che questo costa 249 dollari, perché le aziende di IA spendono circa 40.000 dollari a scheda h100?
C'è scritto che questo dispositivo è adatto anche a creare chat bot..... cioè un chat bot che ti dice,io andare,io dormire,io mangiare,io Tarzan?
Spacciarlo per supercomputer per IA è come spacciare le consolle cinesi vendute con i giochi caricati che vendevano negli anni 90 per TV ,come consolle di ultima generazione a pari PS e Xbox.

[Tedturb0]

Meh.. NUC tutta la vita

[carloUba]

Originariamente inviato da supertigrotto

Già visti i modelli prima ma nei kit dei bracci robotici cinesi su AliExpress,e qualcosa in qualche drone quadricottero.
Comunque tutte parolone,allora visto che questo costa 249 dollari, perché le aziende di IA spendono circa 40.000 dollari a scheda h100?
C'è scritto che questo dispositivo è adatto anche a creare chat bot..... cioè un chat bot che ti dice,io andare,io dormire,io mangiare,io Tarzan?
Spacciarlo per supercomputer per IA è come spacciare le consolle cinesi vendute con i giochi caricati che vendevano negli anni 90 per TV ,come consolle di ultima generazione a pari PS e Xbox.

Ma questo è per Edge AI cosa c'entrano le GPU?

[s12a]

Il punto è che (non solo qui su HWUpgrade, ma anche altrove), questo Jetson sembra essere spacciato come soluzione per chi vorrebbe cimentarsi nell'IA generativa (LLM, modelli video/audio) senza spendere troppo, ma è in realtà solo un kit di sviluppo per precise esigenze, dall'hardware alquanto limitato. Un qualunque PC con scheda video dalla RTX3060 in su è superiore per tali usi, e se hai una GPU un po' più vecchia, ma memorie DDR5-6400 o superiori, con gli LLM (chatbot, insomma) vai uguale o meglio, senza i limiti degli 8GB condivisi.

[NiMx]

Originariamente inviato da supertigrotto

C'è scritto che questo dispositivo è adatto anche a creare chat bot..... cioè un chat bot che ti dice,io andare,io dormire,io mangiare,io Tarzan?.

Heheh non sei del settore, vero?
Non funziona così, NESSUNO allenerebbe mai un Llm da zero, è come cercare di reinventare la ruota.

Il flusso corretto è prendere uno dei mille Llm open source in grado di esprimersi correttamente, e riallenarlo con nuovi dati (fine tuning, reinforcement, e varie altre tecniche) pertinenti al caso d'uso.
Con i vincoli specifici che puoi dare in input e output puoi fare anche in modo che llm risponda solo a determinati temi, in tal caso è consigliabile un llm piccolo veloce ed economico ma sufficientemente avanzato da creare frasi complesse e corrette.