Quattro token al secondo senza GPU: GLM 5.3 Flash gira su un Dell PowerEdge di 14 anni

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/sistem...ni_159467.html

Due Xeon, 348 GB di DDR3 e nessuna scheda grafica: su un Dell PowerEdge R720 girano GLM 5.3 Flash e Qwen 3.8 27B, ma i venti thread disponibili tengono il tetto a quattro token al secondo. Sul mercato dell'usato la macchina costa circa 600 dollari.

Click sul link per visualizzare la notizia.

[Unrue]

In pratica ha ficcato tutto il modello in RAM e dimostrato che funziona ma è lento? Wow, notiziona.

[Notturnia]

Originariamente inviato da Unrue

In pratica ha ficcato tutto il modello in RAM e dimostrato che funziona ma è lento? Wow, notiziona.

ci ho provato anche io a ficcare un modello da 400 GB in ram.. lento non rende l'idea e la mia era DDR4.. è tempo perso.. letteralmente..
è vero che puoi mettere un modello enorme con poca compressione ma un processo da 2-3 mila token ci mette un'enormità..

p.s. dimenticavo.. puoi sempre usare una gpu con lo swap su ram se vuoi un modello "enorme" ma i benefici non esistono.. se devi aspettare 5-6 ore per avere un risultato scadente allora meglio lasciar stare e semplificare il problema con un algoritmo migliore e spezzarlo in procedimenti più piccoli..

[bonzoxxx]

Far girare un LLM in ram di sistema è un suicidio, non è sostanzialmente utilizzabile.
Anche io potrei far girare modelli da 70B sul mio sistema, ma poi andrebbero a 2 token/sec, inutili.

Bonsai è buono, lo sto usando da un paio di giorni ed è sorprendentemente buono.