Farsi una ai in locale

[fabius21]

Vorrei capire la fattibilità di farsi un'ai in locale.
Qualche anima pia che mi dia una spinta, tipo i requisiti hw per farla andare decentemente. Alla fine non mi serve per video/foto , o almeno non al momento.
Alla fine ho visto che è un programmi python.
Ancora non saprei cosa farci. Ma vorrei saperlo fare, alla fine ho letto nel forum che qualcuno ci lavora.

[Kaya]

Originariamente inviato da fabius21

Vorrei capire la fattibilità di farsi un'ai in locale.
Qualche anima pia che mi dia una spinta, tipo i requisiti hw per farla andare decentemente. Alla fine non mi serve per video/foto , o almeno non al momento.
Alla fine ho visto che è un programmi python.
Ancora non saprei cosa farci. Ma vorrei saperlo fare, alla fine ho letto nel forum che qualcuno ci lavora.

Se il tuo pc ha abbastanza potenza di GPU, installati OLLAMA e parti da lì.
Totalmente inutile parlare di altro senza sapere cosa fare.
Che poi - ricorsivamente - puoi chiedere alla IA come fare :-D

[fabius21]

Originariamente inviato da Kaya

Se il tuo pc ha abbastanza potenza di GPU, installati OLLAMA e parti da lì.
Totalmente inutile parlare di altro senza sapere cosa fare.
Che poi - ricorsivamente - puoi chiedere alla IA come fare :-D

si posso anche chiederlo, ma volevo l'impressione di un umano , per capire se ne vale la pena o meno.
Come gpu sò a corto, al massimo potrei dedicargli una 1060.

[Kaya]

Prova ollama. Tanto si installa con due click alla windows e via...

[fabius21]

Originariamente inviato da Kaya

Prova ollama. Tanto si installa con due click alla windows e via...

Lo farò. Una domanda, quanto è importante lo storage? per capire se gli devo dedicare un ssd o meno

[Kaya]

Originariamente inviato da fabius21

Lo farò. Una domanda, quanto è importante lo storage? per capire se gli devo dedicare un ssd o meno

In questo frangente direi davvero poco o nulla importante. si parla cmq di modelli di qualche gigabite..

[Alessio.16390]

Ciao, ti consiglio di guardare qui

https://github.com/mudler/LocalAI

https://localai.io/getting-started/

Sì, un SSD è -altamente- consigliabile.

[fabius21]

Originariamente inviato da Alessio.16390

Ciao, ti consiglio di guardare qui

https://github.com/mudler/LocalAI

https://localai.io/getting-started/

Sì, un SSD è -altamente- consigliabile.

Grazie, gli darò un'occhiata.
Per il momento, come mi ha consigliato kaya mi sono messo a chiacchierarci con gemini, e sono rimasto sbalordito per i consigli che mi dà.
Per farla in locale, devo metterci almeno una vga decidata, alla fine mi ha convinto di andare di ai pro r9700x, pensate che per quanto riguarda la memoria della vga per avere un modello di grandi dimensioni ha detto che ne posso affiancare la seconda.

Voglio imparare a metterla up e farla funzionare, e sopratutto averne una "personale". Le voglio dare un carattere troll, che se gli chiedo una banalità, mi deve prendere per il culo