Link alla notizia: https://www.hwupgrade.it/news/web/moonshot-ai-kimi-ruba-le-risposte-di-gpt-e-distilla-i-modelli-accuse-pesanti-da-openai_160020.html

OpenAI ha accusato persone associate alla cinese Moonshot AI di aver avuto un ruolo significativo in un’attività coordinata di distillazione, iniziata a inizio luglio e rivolta ai sistemi GPT, ma non ha fornito nel materiale disponibile dettagli sulle prove o sui metodi contestati

Click sul link per visualizzare la notizia.

Ladri che accusano altri ladri......con che cosa ha addestrato la IA openAi?

Ladri che accusano altri ladri......con che cosa ha addestrato la IA openAi?

C'era un articolo anche in cybersecurity che diceva sta cosa simile, alcuni dicono continuano a rovinare libri rari e distruggerli, altri dicono leggere senza permesso siti informativi, ecc.. non so se vero, ma se così e poi si lamentano che gli prendono i dati. Incredibile il Mondo, ma gira così.
Riassumerei che chi ha soldi ha ragione ed è dalla parte della ragione.,

alcuni dicono continuano a rovinare libri rari e distruggerli

Non sono libri rari nel senso di libri che dovrebbero stare in un museo, ma libri rari nel senso che è roba dimenticata nei magazzini e che non si è mai cagato nessuno. Chi se ne frega se li rovinano, sono comunque destinati al macero.

Detto questo, secondo me le accuse di distillazione non sono proprio compatibili con i tempi di rilascio, passa troppo poco tempo tra un modello Anthropic o OpenAI e uno Cinese che lo avvicina, al massimo fanno un po' di reinforced learning usando i modelli chiusi come verificatore, ma chi non lo fa? Sono sicuro che OpenAI nel flusso del post training ci mette anche del RLVR con i modelli open più recenti come verificatori.

La distillazione è una cosa diversa, è quando crei un modello più piccolo creando un dataset di qualità inviando prompt al modello più grande, in pratica collezioni un numero enorme di domande + risposta di qualità. Kimi K3 è un modello da 3000 miliardi di parametri, quindi tutt'altro che piccolo, servirebbero decine di milioni di prompt per crearlo tramite distillazione, oltre alla difficoltà nel produrli non ci sarebbe appunto nemmeno il tempo.

Quanti milioni di domande ci vogliono per "rubare" chatgpt? Insomma questi sarebbero così bravi da essere riusciti a formulare tutte le domande del mondo e a sottoporle a chatgpt senza che, oltretutto, fino ad oggi nessuno se ne accorgesse?