Il fenomeno DeepSeek fa male a NVIDIA: il titolo crolla in Borsa, ma l'azienda non si scompone

[lollo9]

Originariamente inviato da randorama

a me sta cosa non torna.

quando mai c'è stato, in un qualunque campo una innovazione che ha tagliato i costi/aumentato l'efficienza di un fattore come quello attribuito a sto coso?

per carità, c'è sempre una prima volta; però...però.

Il dubbio viene in effetti.
Qui poi ci si scontra con la proverbiale trasparenza cinese da un lato e pure con un celolunghismo / gioco politico tra superpotenze dall’altro.

Momenti del genere ce ne sono stati, seppur molto rari, ma mai della portata di quello che AI rappresenta oggi, nemmeno con tutte le perequazioni del caso.

Ad ogni modo, in questi momenti chi costruisce da secondo prende tutto know how di chi ha tracciato la strada, potendosi focalizzare solo sull’extra mile.
In questo modus operandi i cinesi non sono secondi a nessuno.

[randorama]

Originariamente inviato da lollo9

Il dubbio viene in effetti.
Qui poi ci si scontra con la proverbiale trasparenza cinese da un lato e pure con un celolunghismo / gioco politico tra superpotenze dall’altro.

Momenti del genere ce ne sono stati, seppur molto rari, ma mai della portata di quello che AI rappresenta oggi, nemmeno con tutte le perequazioni del caso.

Ad ogni modo, in questi momenti chi costruisce da secondo prende tutto know how di chi ha tracciato la strada, potendosi focalizzare solo sull’extra mile.
In questo modus operandi i cinesi non sono secondi a nessuno.

si, sono d'accordo; però, accidenti, qui mi sembra che l'ultimo miglio sia davvero lunghetto...

[Alodesign]

Originariamente inviato da randorama

mannaggia a me mi sono mangiato "in così poco tempo".
mi risulta che tra eniac e raspberry ci siano, largo circa, 60 anni.

edit: di più... 70

Ah ecco

[LMCH]

Originariamente inviato da lollo9

Il vino in questo caso però non è male. Il training del modello cinese rimane appannaggio loro (e volendo ci sono pure dei dubbi su quanto “poco” effettivamente abbiano dovuto lavorare sul training primario, ma questo è altro discorso), ma la tecnologia è solida, non la solita cinesata.

Mi riferivo proprio al costo di di produzione del modello.
Se ho capito bene, il costo che hanno dichiarato è quello di un singolo ciclo di addestramento di DeepSeek R3, escludendo:
- i cicli di addestramento precedenti
- i costi del personale
- gli investimenti infrastrutturali.

Nel documento pubblicato da DeepSeek stessa che si può reperire qui:
https://arxiv.org/pdf/2412.19437v1
Risulta che:
"Assuming the rental price of the H800 GPU is $2 per GPU hour, our total training costs amount to only $5.576M.
Note that the aforementioned costs include only the official training of DeepSeek-V3, excluding the costs associated with prior research and ablation experiments on architectures, algorithms, or data."

In pratica i "circa 6 milioni di costo" sono relativi solo al training run finale, non al costo complessivo reale.

Poi c'è da aggiungere che DeepSeek è stata fondata ed è di proprietà di Ningbo High-Flyer Quantitative Investment Management Partnership (di solito chiamata solo High-Flyer oppure Ningbo High-Flyer), in pratica un hedge fund, che di certo non si è fatta sfuggire l'occasione di "giocare in anticipo" sulle prevedibili fluttuazioni delle azioni delle aziende coinvolte nello sviluppo di AI una volta che DeepSeek avesse sganciato la bomba dei "solo 6 milioni".

[Wrib]

Originariamente inviato da randorama

a me sta cosa non torna.

quando mai c'è stato, in un qualunque campo una innovazione che ha tagliato i costi/aumentato l'efficienza di un fattore come quello attribuito a sto coso?

per carità, c'è sempre una prima volta; però...però.

Domanda interessante. Il tuo dubbio è lecito e potrebbe benissimo esserci qualche bluff dietro. Però vorrei provare a fare l'avvocato dei cinesi e provare a immaginare perchè potrebbe essere vero quello che dicono.

Facciamo un paragone con il mondo dei videogiochi.

Quanta potenza di calcolo, per una certa configurazione hardware, viene inutilizzata perchè le ore di lavoro extra degli sviluppatori necessarie a ottimizzare al massimo ogni configurazione sarebbero un costo eccessivo che non giustificherebbe il miglioramento? E' più comodo avere software ottimizzati quel tanto che basta, fermandosi dove l'incremento marginale di ulteriori performane date dall'ottimizzazione lato software non giustificare i costi di tali ulteriori sviluppi. E quindi si migliora lato hardware più comodamente, facendo affidamento a sempre più potenti ed energivore schede grafiche nuove.

Parlando poi di console invece che di pc ricordiamo le console più antiche che a fine ciclo vitale sfornavano delle perle grafiche incredibili rispetto ad inizio gen. Erano sistemi meno complessi (e ogni gen diventava più complessa di quella prima) e quindi arrivare a sfruttare anche l'ultima goccia di potenza era meno dispendioso come sforzo di sviluppo. Inoltre erano sistemi unici, del tutto diversi dall'architettura simil pc usata dalle console più recenti e quindi si creavano kit di sviluppo molto specifici per un hardware unico, tool che si ottimizzavano ulteriormente nel corso di vita della console cucendosi addosso a tale unicità. Adesso chi te lo fa fare di spaccare l'atomo in 4 su ps5/ultimaxbox quando puoi fare un porting pigro per via della similitudine con l'architettura pc?

Se la Cina si è trovata in una situzione in cui l'hardware non poteva più essere incrementato a piacere per i dazi e limitazioni varie avrà deciso di spendere moltissimo nel miglioramento lato software, spremento tutto quello che poteva da un certo hardware anche a costo di altissimo costi di sviluppo.

[s12a]

Originariamente inviato da randorama

a me sta cosa non torna.

quando mai c'è stato, in un qualunque campo una innovazione che ha tagliato i costi/aumentato l'efficienza di un fattore come quello attribuito a sto coso?

per carità, c'è sempre una prima volta; però...però.

In maniera molto semplificata (forse un po' troppo) è spiegato in questo thread: https://xcancel.com/morganb/status/1...162709295541#m

Qui un riassunto un po' meno semplificato da Reddit:

• fp8 instead of fp32 precision training = 75% less memory
  
• multi-token prediction to vastly speed up token output
  
• Mixture of Experts (MoE) so that inference only uses parts of the model not the entire model (~37B active at a time, not the entire 671B), increases efficiency
  
• Multihead Latent Attention (MLA) which drastically reduces compute, memory usage, and inference costs of attention
  
• PTX (basically low-level assembly code) hacking in old Nvidia GPUs to pump out as much performance from their old H800 GPUs as possible

[Max Power]

"Il titolo in borsa di Nvidia è calato del 17 per cento"

La festa starà per finire... finalmente?

[Saturn]

Originariamente inviato da Max Power

"Il titolo in borsa di Nvidia è calato del 17 per cento"

La festa starà per finire... finalmente?

Però per tirare un bilancio io direi di aspettare.

Comunque ben venga la concorrenza, sempre !

[Yuno gasai]

So che non c'entra molto con il topic, ma in parte sì C'è qualche thread sulle llm qua su hwupgrade? Mi sembra strano che non ci siano topic dedicati in cui discutere

[Unrue]

Originariamente inviato da Max Power

"Il titolo in borsa di Nvidia è calato del 17 per cento"

La festa starà per finire... finalmente?

Che prima o poi arrivasse qualche concorrente era da mettere in conto. Ma da qua a fermarsi ce ne passa.

[s12a]

Originariamente inviato da Yuno gasai

So che non c'entra molto con il topic, ma in parte sì C'è qualche thread sulle llm qua su hwupgrade? Mi sembra strano che non ci siano topic dedicati in cui discutere

Avevo provato tempo fa ad aprire un thread nella sezione Scienza e Tecnica per la discussione dei paper più interessanti in merito rilasciati du arXiv, ma non ha avuto molto successo ed alla fine ho lasciato perdere. In ogni caso, considerando che non c'è nulla di più esoso in termini di hardware degli LLM più capaci, mi sembra strano che ancora non ci sia una sezione apposita nel forum di Hardware Upgrade.

[randorama]

Originariamente inviato da s12a

In maniera molto semplificata (forse un po' troppo) è spiegato in questo thread: https://xcancel.com/morganb/status/1...162709295541#m

Qui un riassunto un po' meno semplificato da Reddit:

non ho le competenze per apprezzare completamente la spiegazione, per quanto semplice.
posso solo auspicare, o per meglio dire sperare che, se davvero così semplici, verranno presto implementate "dagli altri".


quello che mi lascia davvero perplesso è il tenore delle risposte; sono praticamente identiche a quelle di chatgpt (cosa invece non vera per "gli altri" motori).
a voler pensare male...

In ogni caso, considerando che non c'è nulla di più esoso in termini di hardware degli LLM più capaci, mi sembra strano che ancora non ci sia una sezione apposita nel forum di Hardware Upgrade.

sai... sono molto impegnati a farci sapere chi va in visita a palazzo chigi...

[s12a]

Originariamente inviato da randorama

non ho le competenze per apprezzare completamente la spiegazione, per quanto semplice.
posso solo auspicare, o per meglio dire sperare che, se davvero così semplici, verranno presto implementate "dagli altri".

Probabilmente è così:

Fortune - Meta is reportedly scrambling ‘war rooms’ of engineers to figure out how DeepSeek’s AI is beating everyone else at a fraction of the price

quello che mi lascia davvero perplesso è il tenore delle risposte; sono praticamente identiche a quelle di chatgpt (cosa invece non vera per "gli altri" motori).
a voler pensare male...

È facile che il modello finale sia stato addestrato anche con dati contenenti risposte da ChatGPT (GPT-4); è pratica diffusa ed è contro i termini di servizio OpenAI, ma non è illegale, men che meno in Cina.

[Notturnia]

se fosse vero vuol dire che si assisterà ad un calo del costo delle GPU visto che ne bastano di meno o ad un salto di qualità delle AI visto che con molta potenza possono fare molto di più... staremo a vedere..

ma se è veramente tutto open source come si dice qui allora tutti potranno vedere il codice usato e capire dove sono queste migliorie e far fare un salto di qualità (quantum leap) alle altre AI nel giro di pochi mesi..

oppure fra 6 mesi non sarà successo niente e questo deepseek si dimostrerà un imbroglio..

vedremo o è efficiente e la sua efficienza open source diventerà boost per gli altri o era fuffa e non cambierà niente