Multiverse Computing raccoglie 500 milioni di euro per l'IA europea che può girare ovunque, anche su uno smartphone

[Redazione di Hardware Upg]

Link alla notizia: https://edge9.hwupgrade.it/news/star...ne_156912.html

Multiverse Computing ha annunciato il lancio della raccolta di fondi di Serie C, per un totale di 500 milioni di euro. L'azienda basca ha sviluppato un metodo per compattare i modelli di IA fino al 95%

Click sul link per visualizzare la notizia.

[giovanni69]

...dovrebbe essere acquistata dell'EU e convertita in Open Source per sbaragliare dipendenza da US e Cina.

[LMCH]

Uhm! Nessun documento tecnico nel loro sito, parlano di compressione dei modelli senza scendere nei dettagli.
Potrebbe anche essere che fanno giusto conversioni da BF16 a Q4 di modelli esistenti per come si descrivono.

[lollo9]

non è solo BF16 -> Q4, c'è una decomposizione tensor network delle matrici dei pesi più un retraining di healing sopra. il paper esiste, arXiv 2401.14109, solo che non lo linkano da nessuna parte perché smonta parzialmente il comunicato: su Llama-2 7B dichiarano 93% di riduzione di memoria ma 70% di parametri. la differenza tra i due numeri è quantizzazione, cioè la parte che ti fai in casa gratis con GPTQ

dicono 95% di compressione con 2-3% di perdita "contro uno standard di settore del 20-30% di perdita già al 50-60% di compressione".
ecco qui c'è un po' di bla bla vuoto. quello standard di settore non esiste, se lo sono inventato a proprio uso e consumo. AWQ a 4 bit ti dà il 75% con perdita sotto il 2%, oggi, open, disponibile, senza passare per 500 milioni di euro

e quantum-inspired è solo un modo fancy per algebra lineare degli anni 2000 con l'aggettivo giusto per il bando europeo. poi la tecnica funziona davvero, c'è pure una validazione di Sopra Steria

il punto non è nemmeno fuffa o non fuffa, è che a 1,5 miliardi di valutazione vendono la "IA europea sovrana" quando quello che hanno in mano sono tecniche di compressione. avanzate quanto si vuole, ma tali sono

comunque fatturato +96x nel Q1. da due contratti pilota a quattro, immagino