NVIDIA Blackwell guida nei test sull'inferenza IA, AMD seconda con performance simili ad H200

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/skvide...00_137317.html

NVIDIA domina i benchmark MLPerf Inference V5.0 con la nuova architettura Blackwell, triplicando le prestazioni rispetto all'H200. AMD avanza con Instinct MI325X, mentre Intel mette in mostra le capacità delle CPU Xeon 6.

Click sul link per visualizzare la notizia.

[supertigrotto]

Il dominio nelle prestazioni è di Nvidia indubbiamente ma la concorrenza sta salendo la china e prima o poi la raggiungeranno.
Ma quello che Nvidia non sa è che i memristori statunitensi e coreani stanno facendo miracoli.....

[Max Power]

Da qualche parte nel forum c'è un poveraccio che, seguendo pedissequamente le brochure sponsorizzate, predica l'assoluta, incredibile superiorità irraggiungibile... Bla bla bla

Infatti vediamo

Insomma, c'è un Orsini per quale settore

[CrapaDiLegno]

Originariamente inviato da supertigrotto

Il dominio nelle prestazioni è di Nvidia indubbiamente ma la concorrenza sta salendo la china e prima o poi la raggiungeranno.
Ma quello che Nvidia non sa è che i memristori statunitensi e coreani stanno facendo miracoli.....

Si parla sempre di inferenza, che è una cosa completamente diversa dal training.
L'inferenza si fa con molta meno capacità computazionale e risorse. Infatti Amazon e Google usano chip fatti in casa per limitare costi e consumi. Sarebbe stato interessante vedere le capacità di Gaudi3 in confronto.
Per l'addestramento per ora c'è solo Nvidia, sia per la potenza computazionale, sia per il SW che mette a disposizione. E la corsa degli investimenti è sull'addestramento, non sull'inferenza.

[CrapaDiLegno]

Originariamente inviato da Max Power

Da qualche parte nel forum c'è un poveraccio che, seguendo pedissequamente le brochure sponsorizzate, predica l'assoluta, incredibile superiorità irraggiungibile... Bla bla bla

Infatti vediamo

Insomma, c'è un Orsini per quale settore

Comunque ti sei confuso per benino: le slide mostrano che AMD è quasi pari al'H200.
Ma Nvidia è fuori con Blackwell e i numeri rispetto a H200 sono tutt'altra cosa.
Quindi non servono le brochure sponsorizzate, serve solo capire di quel che si parla.
E tu a quanto si è visto non hai capito proprio un bel niente.

[Piedone1113]

Originariamente inviato da CrapaDiLegno

Si parla sempre di inferenza, che è una cosa completamente diversa dal training.
L'inferenza si fa con molta meno capacità computazionale e risorse. Infatti Amazon e Google usano chip fatti in casa per limitare costi e consumi. Sarebbe stato interessante vedere le capacità di Gaudi3 in confronto.
Per l'addestramento per ora c'è solo Nvidia, sia per la potenza computazionale, sia per il SW che mette a disposizione. E la corsa degli investimenti è sull'addestramento, non sull'inferenza.

Ancora a guardare l'addestramento?
Ormai le IA fanno training dei loro stessi risultati perché i dati sono finiti.
Bisogna offrire fonti affidabili per l'addestramento perché ormai i risultati somigliano più a soap opera che a risposte affidabili.
Le IA sono state nutrite dal chiacchiericcio dei social, dal pensiero suprematista, dalle teorie terrappiattiste, e da ogni tipo di amenità.
Ogni 1000 cose trovate su internet forse una a stento è affidabile, tutto il resto disinformazione ignorante se non proprio manipolazione.
Siamo prossimi all'esplosione della bolla Nvidia ( non per carenze dell'azienda) eppure a che serve una grattugia più potente e veloce se il formaggio è praticamente esaurito?

[CrapaDiLegno]

Originariamente inviato da Piedone1113

Ancora a guardare l'addestramento?
Ormai le IA fanno training dei loro stessi risultati perché i dati sono finiti.
Bisogna offrire fonti affidabili per l'addestramento perché ormai i risultati somigliano più a soap opera che a risposte affidabili.
Le IA sono state nutrite dal chiacchiericcio dei social, dal pensiero suprematista, dalle teorie terrappiattiste, e da ogni tipo di amenità.
Ogni 1000 cose trovate su internet forse una a stento è affidabile, tutto il resto disinformazione ignorante se non proprio manipolazione.
Siamo prossimi all'esplosione della bolla Nvidia ( non per carenze dell'azienda) eppure a che serve una grattugia più potente e veloce se il formaggio è praticamente esaurito?

Sei andato un po' oltre la questione "quale GPU è meglio per fare l'addestramento".
Indipendentemente da quanto dici (o assumi sia il problema) l'addestramento è necessario per creare un modello funzionante. Che sia alimentato con dati reali o fittizi.
Che poi i servizi LLM che questi modelli forniscono sono delle me.rdate siamo molti a constatarlo, ma questo non prevale sul fatto che più parametri = risposte migliori = più potenza di calcolo = mi servono le migliori GPU che facciano il lavoro più in fretta e possibilmente con meno consumi.
E quale è l'azienda che non riesce a stare dietro alle richieste delle sue GPU per l'addestramento, tanto che poi vengono buone tutte le altre soluzioni per l'inferenza visto che mancano le GPU migliori per farlo?