Bonsai 27B gira su smartphone: è il primo modello da 27 miliardi di parametri per mobile

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/telefo...le_156343.html

PrismML ha annunciato Bonsai 27B, un modello basato su Qwen3.6 27B compresso fino a pesare 3,9 GB nella versione più estrema, abbastanza leggero da girare interamente su un iPhone 17 Pro mantenendo capacità di ragionamento, visione e chiamate a strumenti

Click sul link per visualizzare la notizia.

[bonzoxxx]

Molto bene, lo dico da tempo che il futuro sarà anche e soprattutto AI locale.

[Paganetor]

Originariamente inviato da bonzoxxx

Molto bene, lo dico da tempo che il futuro sarà anche e soprattutto AI locale.

sì però magari non quella "general purpose", ma addestrata su compiti specifici...

[bonzoxxx]

Originariamente inviato da Paganetor

sì però magari non quella "general purpose", ma addestrata su compiti specifici...

Meglio ancora se addestrata per compiti specifici, c'è una ditta di cyber security molto famosa che ha un modello locale da 8B per assistere gli analisti, praticamente gira su una GPU con 8GB di vram.

[TorettoMilano]

ma tanto in europa apple non lo metterá

[Paganetor]

Originariamente inviato da bonzoxxx

Meglio ancora se addestrata per compiti specifici, c'è una ditta di cyber security molto famosa che ha un modello locale da 8B per assistere gli analisti, praticamente gira su una GPU con 8GB di vram.

esatto: fa una cosa (per dire), ma la fa bene

[Sandro kensan]

Ma chi è che usa Qwen attivamente?

https://chat.qwen.ai/

[sbudellaman]

riuscirebbe a girare anche sulla mia 5700 xt amd con 8gb di vram? Oppure gli smartphone l'hanno già superata?

[bonzoxxx]

Originariamente inviato da Sandro kensan

Ma chi è che usa Qwen attivamente?

https://chat.qwen.ai/

Io, un modello personalizzato uncensored da 9B.

[bonzoxxx]

Originariamente inviato da sbudellaman

riuscirebbe a girare anche sulla mia 5700 xt amd con 8gb di vram? Oppure gli smartphone l'hanno già superata?

Bisogna vedere, secondo me si ma non ho approfondito l'argomento.