Link alla notizia: https://www.hwupgrade.it/news/apple/apple-m7-ultra-in-arrivo-nel-2027-con-ben-1-5-tb-di-memoria-unificata-per-l-ia_156200.html

Si vocifera che Apple salterà M6 Ultra per puntare su M7 Ultra per il 2027. Pensato per l'IA locale, il processore offrirà fino a 1,5 TB di memoria unificata e una larghezza di banda oltre 1 TB/s. Le prestazioni estreme su Mac Studio potrebbero però spingere il prezzo fino a 20.000 dollari.

Click sul link per visualizzare la notizia.

Par di capire che ormai Apple, vista la sua struttura hardware vantaggiosa, si stia buttando a pesce nella IA..

Tutti si stanno buttando sull'ai, solo che Apple ha il vantaggio di avere una memoria unificata flessibile e veloce.
Paradossalmente, un M7 ultra anche "solo" con 768GB di ram, che sono una marea, potrebbe far girare modelli che richiedono 8 GPU classe server, certo non alla stessa velocità però.

a spanne siamo nell'ordine dei 40/50 mila €uri :D ...

Tutti si stanno buttando sull'ai, solo che Apple ha il vantaggio di avere una memoria unificata flessibile e veloce.
Paradossalmente, un M7 ultra anche "solo" con 768GB di ram, che sono una marea, potrebbe far girare modelli che richiedono 8 GPU classe server, certo non alla stessa velocità però.

Ma infatti è questa la chiave di Volta.
E' chiaro che non lo hanno fatto in ottica di IA, ma è capitato che questo tipo di config sia il top per la IA locale... Ovvio che la cosa è da sfruttare.

Se uno vuole farsi una IA locale potente che scelte ha adesso che siano migliori della config delle macchine Apple?

a spanne siamo nell'ordine dei 40/50 mila €uri :D ...

Anche io appena ho letto Apple e 1,5TB di memoria ho pensato a quelle cifre :D

Anche io appena ho letto Apple e 1,5TB di memoria ho pensato a quelle cifre :D

Cifre pi che realistiche visto che 8GB di LPDDR5 per Apple valgono 220 Euro!

Fate voi la semplice moltiplicazione :O

Ma infatti è questa la chiave di Volta.
E' chiaro che non lo hanno fatto in ottica di IA, ma è capitato che questo tipo di config sia il top per la IA locale... Ovvio che la cosa è da sfruttare.

Se uno vuole farsi una IA locale potente che scelte ha adesso che siano migliori della config delle macchine Apple?

Adesso come adesso un M4 mini è un'ottima macchina per mettere su un agente da 9B e un 128 - 256K di contesto.

Una WS ai potente potente prevede o un mac con 128GB di ram oppure un paio di Nvidia, 2*4090 offrono notevoli prestazioni in ambito produzione video.

Poi ovvio, per progetti grandi si spenderebbe talmente tanto che non conviene, con i prezzi attuali, mettersi 4-6-8GPU in casa, la spesa è fuori di testa.

Dipende sempre cosa si deve fare.

Un M3 ultra con 96GB di ram permette di far girare anche modelli da 123B ma a velocità basse, circa 7 token/sec che non sono abbastanza per farci qualcosa, ma un modello da 70B dovrebbe attestarsi intorno ai 16-20 token che per ricerca/sperimentazione vanno bene.

Considera che un rack di un datacenter fa circa 835K token/sec, quindi parliamo di ben altre cifre e, ovviamente, ben altre destinazioni d'uso.

Cifre pi che realistiche visto che 8GB di LPDDR5 per Apple valgono 220 Euro!

Fate voi la semplice moltiplicazione :O

41250 euro solo di ram.