Torna indietro   Hardware Upgrade Forum > Software > Programmazione

Lenovo ThinkPad X1 2-in-1 G10 Aura Edition: il convertibile di classe
Lenovo ThinkPad X1 2-in-1 G10 Aura Edition: il convertibile di classe
La flessibilità di configurazione è il punto di forza di questo 2-in-1, che ripropone in un form factor alternativo tutta la tipica qualità dei prodotti Lenovo della famiglia ThinkPad. Qualità costruttiva ai vertici, ottima dotazione hardware ma costo che si presenta molto elevato.
Intervista a Stop Killing Games: distruggere videogiochi è come bruciare la musica di Mozart
Intervista a Stop Killing Games: distruggere videogiochi è come bruciare la musica di Mozart
Mentre Ubisoft vorrebbe chiedere agli utenti, all'occorrenza, di distruggere perfino le copie fisiche dei propri giochi, il movimento Stop Killing Games si sta battendo per preservare quella che l'Unione Europea ha già riconosciuto come una forma d'arte. Abbiamo avuto modo di parlare con Daniel Ondruska, portavoce dell'Iniziativa Europa volta a preservare la conservazione dei videogiochi
Samsung Galaxy S25 Edge: il top di gamma ultrasottile e leggerissimo. La recensione
Samsung Galaxy S25 Edge: il top di gamma ultrasottile e leggerissimo. La recensione
Abbiamo provato il nuovo Galaxy S25 Edge, uno smartphone unico per il suo spessore di soli 5,8 mm e un peso super piuma. Parliamo di un device che ha pro e contro, ma sicuramente si differenzia dalla massa per la sua portabilità, ma non senza qualche compromesso. Ecco la nostra prova completa.
Tutti gli articoli Tutte le news

Vai al Forum
Rispondi
 
Strumenti
Old 06-03-2025, 19:31   #1
$te
Senior Member
 
L'Avatar di $te
 
Iscritto dal: Aug 2006
Messaggi: 1262
[IA] Deepseek - Progetto locale

Ciao ragazzi,
ditemi se non sono nella sezione adeguata, ma non ho trovato dove postare: volevo sapere se c'è qualcuno che ha smanettato con la versione R1 di deepseek? Perché ho scaricato Ollama e poi la versione più piccola di deepseek da 1.5B per provare a farmi il mio chatbot. Ora...tralasciamo il fatto della lingua: ma è possibile insegnarli? o più che altro, dargli in pasto dei pdf di testo e poi fargli domande? perché...facendolo, mi pare proprio stupido.
Mi piacerebbe sapere se qualcuno ha provato qualcosa di simile?
Grazie!
$te è offline   Rispondi citando il messaggio o parte di esso
Old 06-03-2025, 21:17   #2
wingman87
Senior Member
 
Iscritto dal: Nov 2005
Messaggi: 2774
Ciao $te,
non sono un'esperto ma da qualche settimana sto smanettando con gli llm e mi fa piacere condividere quello che ho imparato.

Anche io ho iniziato con ollama, sono riuscito a fare quello che volevo fare con un po' di fatica e poi ho scoperto LM Studio che semplifica tantissimo le cose: ha una gui con cui puoi cercare e scaricare modelli nelle varie versioni disponibili da huggingface, lanciare il modello personalizzando i parametri che sono tutti visibili, duplicare le chat e modificarle per sperimentare, caricare documenti per interrogarli (implementa un algoritmo RAG: Retrieval Augmented Generation)...
Io ti consiglio di partire con quello e poi una volta che hai capito come fare puoi programmare usando le api esposte da ollama. Anche LM Studio espone delle api ma non le ho provate.

Una cosa che non ho capito di LM Studio è se è possibile fargli caricare tutto il documento in memoria invece di usare l'algoritmo RAG. Per il tuo scopo finale questo potrebbe essere limitante.

Un parametro molto importante che devi impostare (e che ollama imposta di default a 2048) è il context length: se il tuo input eccede il context length nella migliore delle ipotesi il modello crasha, nella peggiore ignora parte dell'input.

Su deepseek r1: non ho provato la versione 1.5B ma da quanto ho visto con altri modelli temo che 1.5B sia troppo scarso, per avere un minimo di senso devi guardare da 7B in su.
Inoltre deepseek per funzionare bene, deve essere istruito con questo prompt system (forse il modello che scarichi da ollama è già configurato così ma non ne sono certo):

Codice:
You are a deep thinking AI, you may use extremely long chains of thought to deeply consider the problem and deliberate with yourself via systematic reasoning processes to help come to a correct solution prior to answering. You should enclose your thoughts and internal monologue inside <think> </think> tags, and then provide your solution or response to the problem.
Questo prompt istruisce il modello a riflettere sulla risposta prima di dare la risposta effettiva. La riflessione viene comunque data in output, racchiusa nei tag <think> </think>

Per la questione insegnargli: sì è possibile ma forse non come ti aspetteresti. Non è che fai un addestramento come faresti con una rete neurale, o meglio, penso esista anche la possibilità di fare questo ma va oltre le mie conoscenze attuali, quello che puoi fare per istruirlo sono sostanzialmente 2-3 cose: puoi dargli un prompt system per dargli istruzioni sul come orientarsi per dare risposte, ad esempio gli puoi dire di non trattare certi argomenti o di focalizzarsi su altri. Puoi anche dirgli di impersonare un personaggio di fantasia o reale... In generale puoi dargli delle istruzioni.
In secondo luogo puoi dargli più input, in modo che la chat abbia una "storia" e poi fargli una domanda su quella storia. Nel dargli più input puoi anche scegliere per ogni input se è in veste di user o di assistant (cioè il modello).
In terzo luogo, puoi usare il function calling per dare la possibilità al modello di interrogare altre fonti in autonomia. Quest'ultimo punto è fattibile solo con i modelli che hanno supporto ai cosiddetti tools e per abilitare il function calling devi rendere noto al modello, nel system prompt, quali sono le funzioni disponibili seguendo una data sintassi che dipende dal modello.

Spero di non averti confuso le idee e averti dato qualche spunto utile.
wingman87 è offline   Rispondi citando il messaggio o parte di esso
Old 10-03-2025, 08:48   #3
$te
Senior Member
 
L'Avatar di $te
 
Iscritto dal: Aug 2006
Messaggi: 1262
Grazie mille per la condivisione, molto interessante!
Il fatto che non trovo cosi tanto in rete per farlo girare localmente, anche se a me sembra proprio la cosa più spettacolare: abbiamo un regalo incredibile, l'Europa dovrebbe prendere e sfruttarlo, ma vabbé (immagino che sia cosi).

Appena ho un po' di ore, faccio come dici e poi aggiorno qui, che sicuro può essere utile a molti.

Grazie!
$te è offline   Rispondi citando il messaggio o parte di esso
 Rispondi


Lenovo ThinkPad X1 2-in-1 G10 Aura Edition: il convertibile di classe Lenovo ThinkPad X1 2-in-1 G10 Aura Edition: il c...
Intervista a Stop Killing Games: distruggere videogiochi è come bruciare la musica di Mozart Intervista a Stop Killing Games: distruggere vid...
Samsung Galaxy S25 Edge: il top di gamma ultrasottile e leggerissimo. La recensione Samsung Galaxy S25 Edge: il top di gamma ultraso...
HP Elitebook Ultra G1i 14 è il notebook compatto, potente e robusto HP Elitebook Ultra G1i 14 è il notebook c...
Microsoft Surface Pro 12 è il 2 in 1 più compatto e silenzioso Microsoft Surface Pro 12 è il 2 in 1 pi&u...
La Cina ha sviluppato una macchina in gr...
Lanciati cinque nuovi satelliti cinesi G...
Meta avrebbe scaricato illegalmente migl...
QNAP annuncia la funzionalità di ...
Fino a 96 core per chip: la nuova CPU se...
Robot che crescono mangiando i loro simi...
Star Wars Outlaws 2 cancellato: per Ubis...
F1 senza freni: il film supera i 500 mil...
Una supersportiva elettrica da 429 CV a ...
Denodo DeepQuery: ricerche complesse in ...
Pluribus è la nuova ambiziosa ser...
IA come persone: avranno una personalit&...
Scoppia la bufera NSFW: la mano di Colle...
Philips porta OneBlade su Fortnite: arri...
Il consumo dei data center AI esplode: r...
Chromium
GPU-Z
OCCT
LibreOffice Portable
Opera One Portable
Opera One 106
CCleaner Portable
CCleaner Standard
Cpu-Z
Driver NVIDIA GeForce 546.65 WHQL
SmartFTP
Trillian
Google Chrome Portable
Google Chrome 120
VirtualBox
Tutti gli articoli Tutte le news Tutti i download

Strumenti

Regole
Non Puoi aprire nuove discussioni
Non Puoi rispondere ai messaggi
Non Puoi allegare file
Non Puoi modificare i tuoi messaggi

Il codice vB è On
Le Faccine sono On
Il codice [IMG] è On
Il codice HTML è Off
Vai al Forum


Tutti gli orari sono GMT +1. Ora sono le: 03:50.


Powered by vBulletin® Version 3.6.4
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
Served by www3v