Link alla notizia: https://www.hwupgrade.it/news/web/grok-25-diventa-open-source-chiunque-lo-puo-scaricare-e-personalizzare-e-musk-promette-grok-3-open-source-entro-sei-mesi_142493.html

xAI ha reso open source Grok 2.5 su Hugging Face, permettendo a chiunque di scaricare ed eseguire il modello, seppur con restrizioni d’uso. Musk promette l’apertura anche di Grok 3, mentre la società cerca di lasciarsi alle spalle le polemiche per risposte antisemitiche generate dal chatbot

Click sul link per visualizzare la notizia.

Tutto molto interessante ma la feature che rendeva grok qualcosa da provare era poter avere companion 3d personalizzabili.

Qualcosa che era diverso rispetto a tante altre AI e che valeva la pena provare, non dico utile per forza sia chiaro ma da provare.

A oggi invece è inutile avere l'ennesimo LLM (o comunque non particolarmente interessante) se non sbloccano quella feature che lo rendeva un unicum nell'attuale panorama delle AI LLM.

su HF non lo vedo ancora quantizzato, allo stato attuale Grok 2.5 è abbastanza pesantuccio:

"you will need 8 GPUs (each with > 40GB of memory)"

"you will need 8 GPUs (each with > 40GB of memory)"
Be dai, prendi una Ex-Mining Farm su AliExpress :3

qual'è l' LLM più leggero da eseguire in locale?

qual'è l' LLM più leggero da eseguire in locale?

Dipende che tipo di LLM ti serve.

Ci sono quelli incentrati su un dialogo che sembri quanto più umano possibile, quelli specializzati in supporto alla programmazione, quelli più moderati e meno moderati.

Per poterti consigliare qualcosa butta qualche dato in più almeno su quello che ti aspetti e le domande che pensi di fargli.

Comunque se vuoi farti un'idea:

1) LLaMA 3
2) TinyLlama
3) Mixtral 8x7B
4) Solar 10.7B

Sono fra i più leggeri e più o meno generalisti.

EDIT: mi son reso conto che usando i numeri sembra una classifica... li ho messi in ordine casuale per come mi venivano in mente, non leggerci nessun tipo di classifica.

Open source oppure open weights? :stordita:
Se la seconda, io lo scriverei

qual'è l' LLM più leggero da eseguire in locale?

Il più grande che ti entra tutto nella vram