Quote:
Originariamente inviato da Vindicator
non è necessario usare la versione a pagamento, io sto usando gratis vari modelli sulla piattaforma google usando koboldai
è un interfaccia per caricare qualsiasi modello link
https://colab.research.google.com/dr...sEk9W8dypQ1YoN
poi andate su huggingface
https://huggingface.co/TheBloke
è un deposito di modelli da scaricare cercate quelli con l'estensione GGUF
e usate la q5, sto diventando abbastanza esperto in merito
ad esempio se prendete il modello generale avete un calcolatore oppure vi scrivono tesi per esami, altri vi creano delle storie che decidete voi, protagonista luogo, era eccetera, davvero fantastico
il numero che vedete 3b 7b 13b si riferisce alla ram della scheda video richiesta (su windows si puo usare il programma faraday e' open source, scaricate il modello e avete la chatbot gratis offline sul vostro computer) |
Grazie della dritta.
Comunque il numero fa riferimento al numero di parametri su cui e stato allenato, 3, 7 o 13 miliardi. Infatti alcuni modelli 13b posso correrli anche sulla mia 4060 mobile con 6gb di vram.
Sulla piattaforma che hai indicato al massimo fino a dove ti sei riuscito a spingere? 13b?
In ogni caso, chatGPT 3.5 è avanti, molto avanti aimé, e allenato su ~175b