Microsoft e Mistral annunciano un accordo multimiliardario per l'IA europea e la sovranità digitale

[Redazione di Hardware Upg]

Link alla notizia: https://edge9.hwupgrade.it/news/ia-b...le_156687.html

Microsoft e Mistral hanno annunciato una collaborazione che vedrà l'azienda francese mettere a disposizione del colosso di Redmond i propri modelli d'intelligenza artificiale e la propria infrastruttura di GPU

Click sul link per visualizzare la notizia.

[Ripper89]

e la propria infrastruttura di GPU

[Rubberick]

ma ce ne sono ? di dc europei in grado di fare girare quei modelli ?

[WarDuck]

Originariamente inviato da Rubberick

ma ce ne sono ? di dc europei in grado di fare girare quei modelli ?

Se per "girare" intendi fare inferenza (quindi fare query ad un modello già addestrato), a seconda delle dimensioni e del tipo (e dei compromessi che si è disposti a fare) possono girare anche su hardware "consumer" di fascia medio-bassa.

Se prendi ad esempio Mistral Small 4 (119 B parametri e 6.5 B attivi per token) con quantizzazione a 4 bit, sta intorno a circa 55 GB e può girare su un PC con una 5070 Ti Mobile 12GB e 64 GB di RAM di sistema, in maniera decente (20/25 token/s)

Ovviamente il discorso è molto più complicato di così, dipende cosa devi farci e dipende anche da quante persone vuoi "servire" contemporaneamente.

Dopodiché invece l'addestramento è tutto un altro discorso.

Il vero problema rimane comunque che a parte Mistral in Europa c'è il deserto mi sembra e purtroppo i loro modelli non sono molto competitivi con quelli di frontiera attuali.

Il vero problema è che l'UE dovrebbe svegliarsi e fare l'equivalente di un progetto Manhattan, ma mediamente dormono e pensano a minchiate.

[mmorselli]

Originariamente inviato da Ripper89

e la propria infrastruttura di GPU

Perché ti fa ridere? Se le compri sono tue, come è tua la tua auto o la tua casa, anche se non sei stato tu a costruirla.

Ma poi OpenAI usa le proprie GPU? Usa la qualunque basta che si accenda.

[mmorselli]

Originariamente inviato da WarDuck

Il vero problema rimane comunque che a parte Mistral in Europa c'è il deserto mi sembra e purtroppo i loro modelli non sono molto competitivi con quelli di frontiera attuali.

Mistral ha sempre provato a specializzarsi, i suoi modelli di trascrizione vocale sono ottimi per esempio, secondo me fa bene a non mettersi in diretta competizione con OpenAI, Anthropic, Google e i due o tre modelli Cinesi di punta, è già molto affollato il mercato dei modelli generalisti.

[pengfei]

Recentemente ho sentito dire che Mistral ha a disposizione circa un ventesimo della potenza di calcolo di Anthropic e come valutazione dell'azienda è pure peggio, 20 miliardi di euro contro mille miliardi di dollari circa, e rispetto ai cinesi abbiamo decisamente meno laureati nel settore, senza avere la capacità di attrarne che hanno gli americani.
Competere sulla frontiera in queste condizioni non è facile

[Master94ga]

Originariamente inviato da mmorselli

Mistral ha sempre provato a specializzarsi, i suoi modelli di trascrizione vocale sono ottimi per esempio, secondo me fa bene a non mettersi in diretta competizione con OpenAI, Anthropic, Google e i due o tre modelli Cinesi di punta, è già molto affollato il mercato dei modelli generalisti.

Anche il loro modello OCR 4 uscito da poco è tra i migliori del settore, se non il migliore

[WarDuck]

Originariamente inviato da pengfei

Recentemente ho sentito dire che Mistral ha a disposizione circa un ventesimo della potenza di calcolo di Anthropic e come valutazione dell'azienda è pure peggio, 20 miliardi di euro contro mille miliardi di dollari circa, e rispetto ai cinesi abbiamo decisamente meno laureati nel settore, senza avere la capacità di attrarne che hanno gli americani.
Competere sulla frontiera in queste condizioni non è facile

D'accordo, ma qui il problema e' che neanche ci si prova... quei pochi che abbiamo potrebbero ad esempio essere messi in un centro di ricerca UE? Stile laboratori nazionali americani?

[WarDuck]

Originariamente inviato da mmorselli

Mistral ha sempre provato a specializzarsi, i suoi modelli di trascrizione vocale sono ottimi per esempio, secondo me fa bene a non mettersi in diretta competizione con OpenAI, Anthropic, Google e i due o tre modelli Cinesi di punta, è già molto affollato il mercato dei modelli generalisti.

Sono d'accordo che il futuro probabilmente e' avere modelli piu' piccoli e specializzati magari da usare come "esperti" nei modelli piu' generali MoE, ma il problema sono le risorse.

L'UE si deve dare una svegliata.