Link alla notizia: https://www.hwupgrade.it/news/web/kolibri-1-nuovo-llm-a-pesi-aperti-con-78-miliardi-di-parametri-e-contesto-fino-a-un-milione-di-token_160182.html

Aleph Alpha ha pubblicato Kolibri-1 con 78 miliardi di parametri, pesi aperti e contesto fino a 1.048.576 token. L'architettura MoE ne attiva 3,46 miliardi per token, ma il produttore ha consigliato finestre più corte per i compiti complessi

Click sul link per visualizzare la notizia.

Tsè, barboni :O
Chi non ha almeno una H200 nel suo PC? :D :muro:

Dato che è un modello mixture-of-expert (MoE) con 3 miliardi di parametri attivi, quantizzato in 4-bit dovrebbe andare sufficientemente veloce anche caricato interamente in memoria DDR5, preferibilmente con bus di almeno 256-bit, richiedendo attorno ai 40 GB (minimo). Non è granché, comunque.