Moonshot regala il modello open più grande di sempre: perché pagare Anthropic?

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/scienz...ic_156494.html

Moonshot presenta un MoE sparso da 2.800 miliardi di parametri che sulla classifica indipendente di Arena.ai supera i modelli chiusi di punta a un prezzo molto più basso. I pesi che dovrebbero dimostrarlo non saranno scaricabili prima di fine mese.

Click sul link per visualizzare la notizia.

[marcram]

Ed ecco come, la nuova economia USA basata tutta sull'IA, inizia a crollare...

[Sandro kensan]

Sto vedendo la versione gratuita di kimi k2, quella vecchia, quella nuova è satura. Tra un po' di settimane ci sarà meno gente ad usarla e spero di poterle fare qualche domanda tecnica.

[Portocala]

Originariamente inviato da marcram

Ed ecco come, la nuova economia USA basata tutta sull'IA, inizia a crollare...

Salveranno OpenAI e Anthropic forzando il governo a comprare 10-20% di quote e poi dirottandole sulle spalle dei fondi pensione.

[s12a]

https://www.kimi.com/blog/kimi-k3

Kimi K3 applies quantization-aware training from the SFT stage onward, using MXFP4 weights with MXFP8 activations for broad hardware compatibility. [...] we recommend deploying Kimi K3 on supernode configurations with 64 or more accelerators

Probabilmente ci vorranno almeno 1.5 TB di VRAM.

[Sandro kensan]

Originariamente inviato da Portocala

Salveranno OpenAI e Anthropic forzando il governo a comprare 10-20% di quote e poi dirottandole sulle spalle dei fondi pensione.

Tra l'altro ho letto che i nuovi assunti saranno praticamente obbligati a versare i loro soldi in un fondo pensione privato tipicamente in cui i vari fondi americani la fanno da padrone.

[lumeruz]

Originariamente inviato da s12a

Probabilmente ci vorranno almeno 1.5 TB di VRAM.

sicuramente ma stanno uscendo software che permettono con molta meno RAM di caricare solo in parte il modello e leggerlo da SSD quando serve.
Ad esempio JustVugg/colibri su github riesce a far girare GLM 5.2 con soli 25GB di RAM, almeno è quello che sostiene (ancora non ho provato), poi c'è antirez/ds4 per deepseek V4 flash e pro e sembra stia pensando anche di supportare GLM 5.2.
Un generico SSD streaming quantumnic/ssd-llm.
Non avranno la stessa velocità del cloud ma con SSD PCIe 5.0 penso che la velocità sia decente.

[Fantapollo]

Una nuova magia dalla Cina.

L'occidente sta indietro :|

[giacomo_uncino]

Originariamente inviato da Fantapollo

Una nuova magia dalla Cina.

distillata da quella occidentale (USA)

[Sandro kensan]

Infatti Kimi K3 che è l top in alcuni benchmark ha imparato da quello più stupido e per questo che è al top. Nelle università con i prof più ignoranti esce sempre un qualità di laureati migliore degli altri...

[Ripper89]

Originariamente inviato da marcram

Ed ecco come, la nuova economia USA basata tutta sull'IA, inizia a crollare...

la strategia usa può anche essere fallimentare ma continuare a dirlo solamente per il rosiko di non essere stati capaci di investirci nulla da parte nostra e a saper tirare fuori solamente spazzature come EMMA è patetico.

[marcram]

Originariamente inviato da Ripper89

la strategia usa può anche essere fallimentare ma continuare a dirlo solamente per il rosiko di non essere stati capaci di investirci nulla da parte nostra e a saper tirare fuori solamente spazzature come EMMA è patetico.

No, nessuna invidia o "rosiko".
E' solo soddisfazione per tutti i danni che hanno fatto, e continuano a fare, anche a noi.
Che inizino a pagare per le loro scelte.

[Doraneko]

Originariamente inviato da Portocala

Salveranno OpenAI e Anthropic forzando il governo a comprare 10-20% di quote e poi dirottandole sulle spalle dei fondi pensione.

Sa di metodo nostrano

[Doraneko]

Originariamente inviato da marcram

Ed ecco come, la nuova economia USA basata tutta sull'IA, inizia a crollare...

La Cina sta facendo con l'IA lo stesso dumping che ha fatto in passato con altre cose, per non parlare del fatto che probabilmente ha dei secondi fini, oltre a quelli strettamente commerciali. Ad esempio l'accesso alla montagna di dati riservati e di altre informazioni sensibili dei quali un'IA cinese potrebbe approfittarsi. Chiunque con un po' di sale in zucca evita di affidarsi ad infrastrutture cinesi per il trattamento di informazioni sensibili, dall'IA ad altri sistemi informatici e di telecomunicazione.

[Sandro kensan]

Originariamente inviato da Doraneko

Chiunque con un po' di sale in zucca

Non sono d'accordo, io uso solo modelli cinesi: Qwen, GLM5.2, DeepSeek, Kimi K2. Se avessi un po' di soldi mi installerei su un PC potente in streming SSD un modello quantizzato che sta facendo Antirez con GLM 5.2 con una quantizzazione dinamica ma pare che comunque servano 128 GB di RAM di memoria unificata che mi pare voglia dire condivisa tra CPU e GPU come il Macbook M3 di apple.

GLM 5.2 è già molto avanzato e permette di risolvere problemi di studi scientifici avanzati, programmazione , ecc. Averlo in locale anche con 10 o 5 token al secondo sarebbe eccezionale.

[Sandro kensan]

Aggiungo che Antirez ha trovato il modo per rendere uncensored il suo modello e quindi capace di poterlo usare per qualsiasi scopo, sia legale che no, mi sarebbe piaciuto discutere sia del Governo cinese con il modello di Z.ai e sia di chiedergli come si costruisce una bomba nucleare per sommi capi e quanto costi costruirla oppure se dovessi fare un colpo di stato senza che mi sia attribuita la responsabilità come nel caso avvenuto dell'omicidio di Aldo Moro, come posso fare come Governo? In locale questo si può fare o si potrebbe fare.

[giacomo_uncino]

Originariamente inviato da Doraneko

La Cina sta facendo con l'IA lo stesso dumping che ha fatto in passato con altre cose, per non parlare del fatto che probabilmente ha dei secondi fini, oltre a quelli strettamente commerciali. Ad esempio l'accesso alla montagna di dati riservati e di altre informazioni sensibili dei quali un'IA cinese potrebbe approfittarsi. Chiunque con un po' di sale in zucca evita di affidarsi ad infrastrutture cinesi per il trattamento di informazioni sensibili, dall'IA ad altri sistemi informatici e di telecomunicazione.

la cina sta già distillando da ia usa, Antropic accusa Moonshot di aver creato centinaia di account fittizi, con milioni di chat e questo anche per gli altri competitor usa

C'è un però grande come una casa, la distillazione di dati è una pratica tipica per tutta l'industria dell'ia

Inoltre il sistema cinese è open weight e questo consente (a chi ha le capacità) di eseguirle in locale, e di addattarle alle proprie esigenze bypassando i costo$i hyperscaler usa. E questo potrebbe essere un vantaggio per l'europa, sempre se c'è la volontà la capacità e dinero

[blobb]

Originariamente inviato da Doraneko

La Cina sta facendo con l'IA lo stesso dumping che ha fatto in passato con altre cose, per non parlare del fatto che probabilmente ha dei secondi fini, oltre a quelli strettamente commerciali. Ad esempio l'accesso alla montagna di dati riservati e di altre informazioni sensibili dei quali un'IA cinese potrebbe approfittarsi. Chiunque con un po' di sale in zucca evita di affidarsi ad infrastrutture cinesi per il trattamento di informazioni sensibili, dall'IA ad altri sistemi informatici e di telecomunicazione.

invece gli americani ti danno l' IA gratis perchè sono benefattori dell'umanità