Link alla notizia: https://www.hwupgrade.it/news/skvideo/nvidia-blackwell-guida-nei-test-sull-inferenza-ia-amd-seconda-con-performance-simili-ad-h200_137317.html

NVIDIA domina i benchmark MLPerf Inference V5.0 con la nuova architettura Blackwell, triplicando le prestazioni rispetto all'H200. AMD avanza con Instinct MI325X, mentre Intel mette in mostra le capacità delle CPU Xeon 6.

Click sul link per visualizzare la notizia.

Il dominio nelle prestazioni è di Nvidia indubbiamente ma la concorrenza sta salendo la china e prima o poi la raggiungeranno.
Ma quello che Nvidia non sa è che i memristori statunitensi e coreani stanno facendo miracoli.....

Da qualche parte nel forum c'è un poveraccio che, seguendo pedissequamente le brochure sponsorizzate, predica l'assoluta, incredibile superiorità irraggiungibile... Bla bla bla :asd:

Infatti vediamo :rotfl:

Insomma, c'è un Orsini per quale settore :asd:

Il dominio nelle prestazioni è di Nvidia indubbiamente ma la concorrenza sta salendo la china e prima o poi la raggiungeranno.
Ma quello che Nvidia non sa è che i memristori statunitensi e coreani stanno facendo miracoli.....

Si parla sempre di inferenza, che è una cosa completamente diversa dal training.
L'inferenza si fa con molta meno capacità computazionale e risorse. Infatti Amazon e Google usano chip fatti in casa per limitare costi e consumi. Sarebbe stato interessante vedere le capacità di Gaudi3 in confronto.
Per l'addestramento per ora c'è solo Nvidia, sia per la potenza computazionale, sia per il SW che mette a disposizione. E la corsa degli investimenti è sull'addestramento, non sull'inferenza.

Da qualche parte nel forum c'è un poveraccio che, seguendo pedissequamente le brochure sponsorizzate, predica l'assoluta, incredibile superiorità irraggiungibile... Bla bla bla :asd:

Infatti vediamo :rotfl:

Insomma, c'è un Orsini per quale settore :asd:

Comunque ti sei confuso per benino: le slide mostrano che AMD è quasi pari al'H200.
Ma Nvidia è fuori con Blackwell e i numeri rispetto a H200 sono tutt'altra cosa.
Quindi non servono le brochure sponsorizzate, serve solo capire di quel che si parla.
E tu a quanto si è visto non hai capito proprio un bel niente.

Si parla sempre di inferenza, che è una cosa completamente diversa dal training.
L'inferenza si fa con molta meno capacità computazionale e risorse. Infatti Amazon e Google usano chip fatti in casa per limitare costi e consumi. Sarebbe stato interessante vedere le capacità di Gaudi3 in confronto.
Per l'addestramento per ora c'è solo Nvidia, sia per la potenza computazionale, sia per il SW che mette a disposizione. E la corsa degli investimenti è sull'addestramento, non sull'inferenza.
Ancora a guardare l'addestramento?
Ormai le IA fanno training dei loro stessi risultati perché i dati sono finiti.
Bisogna offrire fonti affidabili per l'addestramento perché ormai i risultati somigliano più a soap opera che a risposte affidabili.
Le IA sono state nutrite dal chiacchiericcio dei social, dal pensiero suprematista, dalle teorie terrappiattiste, e da ogni tipo di amenità.
Ogni 1000 cose trovate su internet forse una a stento è affidabile, tutto il resto disinformazione ignorante se non proprio manipolazione.
Siamo prossimi all'esplosione della bolla Nvidia ( non per carenze dell'azienda) eppure a che serve una grattugia più potente e veloce se il formaggio è praticamente esaurito?

Ancora a guardare l'addestramento?
Ormai le IA fanno training dei loro stessi risultati perché i dati sono finiti.
Bisogna offrire fonti affidabili per l'addestramento perché ormai i risultati somigliano più a soap opera che a risposte affidabili.
Le IA sono state nutrite dal chiacchiericcio dei social, dal pensiero suprematista, dalle teorie terrappiattiste, e da ogni tipo di amenità.
Ogni 1000 cose trovate su internet forse una a stento è affidabile, tutto il resto disinformazione ignorante se non proprio manipolazione.
Siamo prossimi all'esplosione della bolla Nvidia ( non per carenze dell'azienda) eppure a che serve una grattugia più potente e veloce se il formaggio è praticamente esaurito?

Sei andato un po' oltre la questione "quale GPU è meglio per fare l'addestramento".
Indipendentemente da quanto dici (o assumi sia il problema) l'addestramento è necessario per creare un modello funzionante. Che sia alimentato con dati reali o fittizi.
Che poi i servizi LLM che questi modelli forniscono sono delle me.rdate siamo molti a constatarlo, ma questo non prevale sul fatto che più parametri = risposte migliori = più potenza di calcolo = mi servono le migliori GPU che facciano il lavoro più in fretta e possibilmente con meno consumi.
E quale è l'azienda che non riesce a stare dietro alle richieste delle sue GPU per l'addestramento, tanto che poi vengono buone tutte le altre soluzioni per l'inferenza visto che mancano le GPU migliori per farlo?