Kolibri-1: nuovo LLM a pesi aperti con 78 miliardi di parametri e contesto fino a un milione di token

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/ko...en_160182.html

Aleph Alpha ha pubblicato Kolibri-1 con 78 miliardi di parametri, pesi aperti e contesto fino a 1.048.576 token. L'architettura MoE ne attiva 3,46 miliardi per token, ma il produttore ha consigliato finestre più corte per i compiti complessi

Click sul link per visualizzare la notizia.

[NeroCupo]

Tsè, barboni
Chi non ha almeno una H200 nel suo PC?

[s12a]

Dato che è un modello mixture-of-expert (MoE) con 3 miliardi di parametri attivi, quantizzato in 4-bit dovrebbe andare sufficientemente veloce anche caricato interamente in memoria DDR5, preferibilmente con bus di almeno 256-bit, richiedendo attorno ai 40 GB (minimo). Non è granché, comunque.