Link alla notizia: https://www.hwupgrade.it/news/web/elon-musk-trasforma-xai-in-fornitore-di-potenza-di-calcolo-cursor-primo-cliente_152523.html

xAI di Elon Musk metterà a disposizione le proprie GPU alla startup Cursor per addestrare il modello Composer 2.5. L'accordo evidenzia l'importanza della potenza di calcolo nella competizione AI, mentre xAI punta a monetizzare le infrastrutture e a migliorare l'efficienza delle proprie risorse.

Click sul link per visualizzare la notizia.

Non pensavo che il tasso d'utilizzo delle GPU fosse in generale così basso vista la fame di risorse computazionali, magari me lo sarei aspettato più per xAI visti gli investimenti e la quota di mercato di Grok che non decolla

Tuttavia, non mancano le sfide. Internamente, xAI sta cercando di migliorare l'efficienza delle proprie risorse: il tasso di utilizzo delle GPU (MFU) è attualmente intorno all'11%, ben al di sotto dello standard industriale compreso tra il 35% e il 45%. Migliorare questo dato sarà fondamentale per massimizzare il ritorno sugli investimenti infrastrutturali.

Nell'articolo non viene spiegato cosa sono i MFU, la definizione semplificata è:

(FLOPS_per_token_del_modello_utilizzato * Token_osservati_al_secondo )
MFU = --------------------------------------------------------------------------------
FLOPS_TEORICI_MASSIMI_hardware_utilizzato

Per "token osservati al secondo" si intende token di risposta prodotti in output
(per evitare trucchetti con token generati e poi scartati che non fanno parte della risposta effettiva).

Notare che l'MFU non è il massimo come misura oggettiva, può variare:
a) in base al modello utilizzato e relativo software;
b) in base a come vengono calcolati i FLOPS corrispondenti alla generazione di un token;
c) in base a quanto viene STIMATA la potenza computazionale DI PICCO dell'hardware utilizzato.

Per produrre un MFU così basso è sufficiente che siano state dichiarate cifre esagerate per la potenza di calcolo teorica massima dell' infrastruttura
oppure che si sia dichiarata efficienza "troppo ottimistica" dei FLOPS corrispondenti alla generazione di un token (o entrambe le cose).

Insomma, servirebbero più informazioni affidabili per capire cosa sta succedendo in xAI.

Viste le ultime manovre di Musk, è più probabile che Grok non abbia un numero sufficiente di clienti rispetto a quel che rende disponibile l'infrastruttura di calcolo di xAI, quindi vista la mala parata xAI invece che competere con OpenAI o Anthropic sta cambiando il suo modello di business copiando quello di Amazon, Google e Meta (che monetizzano alla grande vendendo potenza di calcolo "AI" a terzi).