gpt-oss-120b gira su un Galaxy S24+ e cinque computer, a 1,1 token al secondo

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/scienz...do_159847.html

Un utente Reddit ha distribuito i layer di gpt-oss-120b quantizzato a 4 bit su sei dispositivi, fra cui un Galaxy S24+, un mini PC con RTX 3060 e tre Mac, con il parallelismo di pipeline. Funziona, ma genera appena 1,1 token al secondo.

Click sul link per visualizzare la notizia.

[Notturnia]

credo che qui la cosa bella sia stata creare un sistema "PAIR" di Nvidia (ipotizzando che non abbia usato proprio quello) su apparecchi fra i più disparati..
ma il costo dei singoli apparecchi usati è molto elevato..

Qwen3.5-122B-A10B con quantizzazione UD-Q4_K_XL gira sui 395+ a 23 token/secondo su un apparato molto più economico di quello usato..

la prova dimostra, ed è bella da nerd, che si possono usare chip a casaccio e funziona lo stesso..

[Fantapollo]

Originariamente inviato da Redazione di Hardware Upgrade

Un utente Reddit ha distribuito i layer di gpt-oss-120b quantizzato a 4 bit su sei dispositivi, fra cui un Galaxy S24+, un mini PC con RTX 3060 e tre Mac, con il parallelismo di pipeline. Funziona, ma genera appena 1,1 token al secondo.

Che minchiata, in pratica anziche' pescare i pesi dalla memoria va a cercarli sui computer in rete. Ovvio che sia lentissimo, e di utilità nulla.

[Notturnia]

Originariamente inviato da Fantapollo

Che minchiata, in pratica anziche' pescare i pesi dalla memoria va a cercarli sui computer in rete. Ovvio che sia lentissimo, e di utilità nulla.

il dubbio che mi viene è se sia più veloce usare la 3060 e un pc con 64 gb di ram e farlo swappare sulla ram del pc al posto che a spasso per la rete

[demon77]

...scusate.. ma 1,1 token al secondo non è una merda galattica?

cioè.. servono ore per avere un risultato o sbaglio?

[Notturnia]

Originariamente inviato da demon77

...scusate.. ma 1,1 token al secondo non è una merda galattica?

cioè.. servono ore per avere un risultato o sbaglio?

corretto.. già 30 token/s sono pochi..

oss è un modello "grande" ma compresso in un certo modo e con la possibilità di lavorare senza caricare tutto per cui non è male ma è surclassato da qwen3.5-122B-A10B
oggi però qwen 3.8-27B e qwen 3.8-Flash-next garantiscono performance ancora superiori..
l'unica parte dove oss se la cava ancora bene è la programmazione algoritmica dove comunque un 3.8 lo batte..

e i 3.8, specie il flash-next dovrebbero essere pure più veloci

cmq sono modelli grossi.. richiedono schede costose.. o sistemi a memoria condivisa.. non certo un sistema come quello descritto

quello era come "ho disegnato un quadro in una capocchia di spillo".. bello e inutile..

[demon77]

Originariamente inviato da Notturnia

cmq sono modelli grossi.. richiedono schede costose.. o sistemi a memoria condivisa.. non certo un sistema come quello descritto

Ora, sempre con la doverosa premessa "se prima non va tutto a donnine".. (premessa che diventa di giorno in giorno sempre più doverosa)

Siamo nel momento critico in cui una nuova e rivoluzionaria tecnologia si è affacciata sul mondo ed improvvisamente tutto l'hardware standard che ormai da anni era "ottimo ed abbondante per tutto" improvvisamente diventa scarso ed inadeguato.
Mi pare di essere tornato ai tempi dei 286-386 quando per far girare software come autocad serviva un pc super carrozzato con un sacco di ram (quattro mega o otto) ed addirittura un coprocessore matematico.. roba che ai tempi era elitaria e costosissima.
Oggi numeri ben diversi ma di fatto la situazione è del tutto analoga.

Fai passare qualche anno e (sempre con la premessa di cui sopra) modelli IA di discreta potenza gireranno in modo soddisfacente anche su PC mainstream.