Link alla notizia: https://www.hwupgrade.it/news/web/utenti-di-claude-in-rivolta-i-bei-vecchi-tempi-sono-finiti_141817.html

Anthropic ha implementato nuove restrizioni dopo che alcuni abbonati al piano Max hanno consumato decine di migliaia di dollari di risorse computazionali con un abbonamento da 200 dollari mensili. Gli utenti, però, non sono del tutto d'accordo con i cambiamenti.

Click sul link per visualizzare la notizia.

Ecco perché abbiamo bisogno di PC con la IA in locale.
La IA è costosa e se non rientreranno nei costi + i ricavi la bolla sarà in stile dotcom

Ma quanto è fattibile una IA in locale da non addetti ai lavori? Non credo sia solo una questione di hardware e di scaricare un modello open source....

Ma quanto è fattibile una IA in locale da non addetti ai lavori? Non credo sia solo una questione di hardware e di scaricare un modello open source....

Oltre allo spazio di archiviazione necessario, chi dovrebbe poi addestrare l'ia?
Servirebbe un ia distribuita tra tutti gli utenti che la usano ( con un protocollo stile torrent) ed ogni client in pool concentrarsi su voci specifiche e limitate.
Ma chi controllerà la bontà dei dati usati per l'addestramento?
Perché è impensabile scandagliare il web, ma lo è altrettanto lasciare una comunità di IA priva di filtri e censura

Ma quanto è fattibile una IA in locale da non addetti ai lavori? Non credo sia solo una questione di hardware e di scaricare un modello open source....

Qualche anno fa i requisiti minimi erano GPU con 16GB di VRAM per far girare modelli LLM decisamente inferiori a quelli sul Cloud.

Adesso "accontentandosi" di usare le NPU integrate negli "AI PC" e montando parecchia RAM (64..128GB) si riesce a far girare anche roba più grossa, ma comunque non al livello delle AI offerte via Cloud.

Ecco perché abbiamo bisogno di PC con la IA in locale.
La IA è costosa e se non rientreranno nei costi + i ricavi la bolla sarà in stile dotcom

Una IA locale per funzionare bene, dovrebbe essere pesantemente distillata (=castrata) e non potrà mai raggiungere i livelli con elaborazione in cloud.
La piattaforma che fa girare ChatGpt è composta da 30000 GPU A100 di NVidia e ognuna di esse costa indicativamente a OpenAI 10000$.

Tanto per capirci, per far girare al meglio il modello opensource Llama3 (405 miliardi di parametri) servirebbe una configurazione da più di 300.000€

Ho testato modelli open come Llama Maverick che con 128 esperti e 17bil parametri attivi devo dire funziona molto bene, ma richiede 300GB RAM per funzionare in int4 che sicuramente degrada le performance.
I modelli 70b per me non sono assolutamente paragonabili alle esperienze che si ha con un modello closed.
Agli utenti di Anthropic io direi invece di fare l'abbonamento di acquistare l'accesso API, hai ora anche una UI con la possibilità di usare prompt come in una chat normale. Paghi solo quello che usi, se non usi non paghi nulla.

Ma esattamente, cosa hanno avuto bisogno di fare, 24h/7, questi utenti?

Perché mi pare chiaro che si tratta di un uso non commisurato...