[IA] Deepseek - Progetto locale

[$te]

Ciao ragazzi,
ditemi se non sono nella sezione adeguata, ma non ho trovato dove postare: volevo sapere se c'è qualcuno che ha smanettato con la versione R1 di deepseek? Perché ho scaricato Ollama e poi la versione più piccola di deepseek da 1.5B per provare a farmi il mio chatbot. Ora...tralasciamo il fatto della lingua: ma è possibile insegnarli? o più che altro, dargli in pasto dei pdf di testo e poi fargli domande? perché...facendolo, mi pare proprio stupido.
Mi piacerebbe sapere se qualcuno ha provato qualcosa di simile?
Grazie!

[wingman87]

Ciao $te,
non sono un'esperto ma da qualche settimana sto smanettando con gli llm e mi fa piacere condividere quello che ho imparato.

Anche io ho iniziato con ollama, sono riuscito a fare quello che volevo fare con un po' di fatica e poi ho scoperto LM Studio che semplifica tantissimo le cose: ha una gui con cui puoi cercare e scaricare modelli nelle varie versioni disponibili da huggingface, lanciare il modello personalizzando i parametri che sono tutti visibili, duplicare le chat e modificarle per sperimentare, caricare documenti per interrogarli (implementa un algoritmo RAG: Retrieval Augmented Generation)...
Io ti consiglio di partire con quello e poi una volta che hai capito come fare puoi programmare usando le api esposte da ollama. Anche LM Studio espone delle api ma non le ho provate.

Una cosa che non ho capito di LM Studio è se è possibile fargli caricare tutto il documento in memoria invece di usare l'algoritmo RAG. Per il tuo scopo finale questo potrebbe essere limitante.

Un parametro molto importante che devi impostare (e che ollama imposta di default a 2048) è il context length: se il tuo input eccede il context length nella migliore delle ipotesi il modello crasha, nella peggiore ignora parte dell'input.

Su deepseek r1: non ho provato la versione 1.5B ma da quanto ho visto con altri modelli temo che 1.5B sia troppo scarso, per avere un minimo di senso devi guardare da 7B in su.
Inoltre deepseek per funzionare bene, deve essere istruito con questo prompt system (forse il modello che scarichi da ollama è già configurato così ma non ne sono certo):

You are a deep thinking AI, you may use extremely long chains of thought to deeply consider the problem and deliberate with yourself via systematic reasoning processes to help come to a correct solution prior to answering. You should enclose your thoughts and internal monologue inside <think> </think> tags, and then provide your solution or response to the problem.

Questo prompt istruisce il modello a riflettere sulla risposta prima di dare la risposta effettiva. La riflessione viene comunque data in output, racchiusa nei tag <think> </think>

Per la questione insegnargli: sì è possibile ma forse non come ti aspetteresti. Non è che fai un addestramento come faresti con una rete neurale, o meglio, penso esista anche la possibilità di fare questo ma va oltre le mie conoscenze attuali, quello che puoi fare per istruirlo sono sostanzialmente 2-3 cose: puoi dargli un prompt system per dargli istruzioni sul come orientarsi per dare risposte, ad esempio gli puoi dire di non trattare certi argomenti o di focalizzarsi su altri. Puoi anche dirgli di impersonare un personaggio di fantasia o reale... In generale puoi dargli delle istruzioni.
In secondo luogo puoi dargli più input, in modo che la chat abbia una "storia" e poi fargli una domanda su quella storia. Nel dargli più input puoi anche scegliere per ogni input se è in veste di user o di assistant (cioè il modello).
In terzo luogo, puoi usare il function calling per dare la possibilità al modello di interrogare altre fonti in autonomia. Quest'ultimo punto è fattibile solo con i modelli che hanno supporto ai cosiddetti tools e per abilitare il function calling devi rendere noto al modello, nel system prompt, quali sono le funzioni disponibili seguendo una data sintassi che dipende dal modello.

Spero di non averti confuso le idee e averti dato qualche spunto utile.

[$te]

Grazie mille per la condivisione, molto interessante!
Il fatto che non trovo cosi tanto in rete per farlo girare localmente, anche se a me sembra proprio la cosa più spettacolare: abbiamo un regalo incredibile, l'Europa dovrebbe prendere e sfruttarlo, ma vabbé (immagino che sia cosi).

Appena ho un po' di ore, faccio come dici e poi aggiorno qui, che sicuro può essere utile a molti.

Grazie!