Link alla notizia: https://www.hwupgrade.it/news/sistemi/quattro-token-al-secondo-senza-gpu-glm-53-flash-gira-su-un-dell-poweredge-di-14-anni_159467.html

Due Xeon, 348 GB di DDR3 e nessuna scheda grafica: su un Dell PowerEdge R720 girano GLM 5.3 Flash e Qwen 3.8 27B, ma i venti thread disponibili tengono il tetto a quattro token al secondo. Sul mercato dell'usato la macchina costa circa 600 dollari.

Click sul link per visualizzare la notizia.

In pratica ha ficcato tutto il modello in RAM e dimostrato che funziona ma è lento? Wow, notiziona.

In pratica ha ficcato tutto il modello in RAM e dimostrato che funziona ma è lento? Wow, notiziona.

ci ho provato anche io a ficcare un modello da 400 GB in ram.. lento non rende l'idea :D e la mia era DDR4.. è tempo perso.. letteralmente..
è vero che puoi mettere un modello enorme con poca compressione ma un processo da 2-3 mila token ci mette un'enormità..

p.s. dimenticavo.. puoi sempre usare una gpu con lo swap su ram se vuoi un modello "enorme" ma i benefici non esistono.. se devi aspettare 5-6 ore per avere un risultato scadente allora meglio lasciar stare e semplificare il problema con un algoritmo migliore e spezzarlo in procedimenti più piccoli..

Far girare un LLM in ram di sistema è un suicidio, non è sostanzialmente utilizzabile.
Anche io potrei far girare modelli da 70B sul mio sistema, ma poi andrebbero a 2 token/sec, inutili.

Bonsai è buono, lo sto usando da un paio di giorni ed è sorprendentemente buono.