Consiglio scheda video per PC (sviluppo, LLM, qualche videogame)

[acir]

Dopo 13 anni di onorato servizio ho deciso di mandare in pensione il mio 3930k (che soddisfazioni!) e di farmi un PC nuovo !

Uso il computer principalmente per sviluppo software, qualche videogames, e ultimamente vorrei farci girare un paio di LLM in locale.

La mia build al momento è questa (ho già comprato i componenti)

CPU: AMD Ryzen 9 9950x
MB: MSI MAG X870E Tomahawk
RAM: Corsair 128 GB DDR5 6000 MHz
SSD: Samsung 9100 PRO SSD da 2TB
PSW: Corsair HX1000i

Sono in difficoltà sulla scheda video; non voglio privarmi di un rene, quindi non so se buttarmi su un usato, e prendere una 3090 o una 4090, che hanno 24 GB di RAM, oppure se prendere una RX 9070 che è nuova, però con tutte le limitazioni software riguardo agli LLM.
Per la serie 50x di Nvidia non ho il budget per una 5090; vale la pena considerare le altre?

Grazie!

[DANY 76]

Originariamente inviato da acir

Dopo 13 anni di onorato servizio ho deciso di mandare in pensione il mio 3930k (che soddisfazioni!) e di farmi un PC nuovo !

Uso il computer principalmente per sviluppo software, qualche videogames, e ultimamente vorrei farci girare un paio di LLM in locale.

La mia build al momento è questa (ho già comprato i componenti)

CPU: AMD Ryzen 9 9950x
MB: MSI MAG X870E Tomahawk
RAM: Corsair 128 GB DDR5 6000 MHz
SSD: Samsung 9100 PRO SSD da 2TB
PSW: Corsair HX1000i

Sono in difficoltà sulla scheda video; non voglio privarmi di un rene, quindi non so se buttarmi su un usato, e prendere una 3090 o una 4090, che hanno 24 GB di RAM, oppure se prendere una RX 9070 che è nuova, però con tutte le limitazioni software riguardo agli LLM.
Per la serie 50x di Nvidia non ho il budget per una 5090; vale la pena considerare le altre?

Grazie!

tutto dipende dal budget,da quanta v-ram ti serve e a che risoluzione giochi.
da subito ti dico di lasciar stare tutte le nvidia sotto la serie 4000 poichè faticano tanto in RT e nn hanno il frame gen.

[Perseverance]

Per il comune mortale una buona soluzione è usare OLLAMA (visto che supporta ROCm ma misteriosamente non Vulkan) su schede video AMD con 16GB di ram abbastanza recenti (anche se si possono forzare all'uso gpu leggermente più vecchie). Per il supporto Vulkan invece bisogna usare LLAMA.CPP da cui OLLAMA deriva ma và compilato a mano.

In ogni caso sarai limitato dalla quantità di VRAM disponibile.

Se sceglierai nVidia ti si aprirà un altro mondo al di fuori dell'opensource ma a costi ben più elevati per il nuovo. Se hai davvero necessità di iniziare a sviluppare o usare gli LLM attendi consigli di chi lo usa tutti i giorni. Io per adesso cazzeggio e sperimento, tuttavia non posso non notare che se il progetto che si ha in mente inizia a crescere anche quel poco che basta per saturarti la vram, a quel punto facendosi due conti ho l'impressione (non la certezza xkè non l'ho provato) che sia più conveniente e prestazionalmente superiore noleggiare un cloud specifico per queste cose.

[acir]

Originariamente inviato da Perseverance

Per il comune mortale una buona soluzione è usare OLLAMA (visto che supporta ROCm ma misteriosamente non Vulkan) su schede video AMD con 16GB di ram abbastanza recenti (anche se si possono forzare all'uso gpu leggermente più vecchie). Per il supporto Vulkan invece bisogna usare LLAMA.CPP da cui OLLAMA deriva ma và compilato a mano.

In ogni caso sarai limitato dalla quantità di VRAM disponibile.

Se sceglierai nVidia ti si aprirà un altro mondo al di fuori dell'opensource ma a costi ben più elevati per il nuovo. Se hai davvero necessità di iniziare a sviluppare o usare gli LLM attendi consigli di chi lo usa tutti i giorni. Io per adesso cazzeggio e sperimento, tuttavia non posso non notare che se il progetto che si ha in mente inizia a crescere anche quel poco che basta per saturarti la vram, a quel punto facendosi due conti ho l'impressione (non la certezza xkè non l'ho provato) che sia più conveniente e prestazionalmente superiore noleggiare un cloud specifico per queste cose.

Pensavo proprio a OLLAMA!
Quindi secondo te con una RT 9060 me la dovrei cavare bene?

[acir]

Originariamente inviato da DANY 76

tutto dipende dal budget,da quanta v-ram ti serve e a che risoluzione giochi.
da subito ti dico di lasciar stare tutte le nvidia sotto la serie 4000 poichè faticano tanto in RT e nn hanno il frame gen.

Budget: bella domanda.
Direi massimo 1500 euro, anche se ammetto che è una spesa davvero importante per una scheda, e spenderli per una usata mi sembra quasi una follia.

Ok, lasciando stare la 3090, tu pensi che abbia senso prendere una 4090?
O sarebbe un acquisto folle visti i costi?

[unnilennium]

sicuramente 2 LLM le fa girare, il senso dipende dal tuo portafogli

[Perseverance]

Scrivi almeno a che risoluzione giochi. Comunque il discorso secondo me si riduce a scegliere la miglior vga entro i 1500€, il tuo budget, che abbia 16GB o più di VRAM e che ti permetta di giocare discretamente alla risoluzione desiderata.

Stando così le cose la scelta si riduce a queste:
NVIDIA RTX 4080 Super
NVIDIA RTX 4080
NVIDIA RTX 4070Ti Super
AMD dalla RX 7600 XT in su

Il fatto è che il modello di punta AMD RX 7900 XTX la trovi attualmente ad un prezzo che è inferiore alla 4070Ti Super, e con 24GB di ram invece di 16GB. Fai una ricerca prezzo e la trovi sulle 800€ spedita nuova.

In gaming la AMD non è male, riguarda questo vecchio benchmark e fatti un'idea...
https://www.techspot.com/review/2588...deon-7900-xtx/

Se puoi spendere quel budget io sceglierei fra la RX7900XTX e la RTX4080.

Poi, allargando un po' il discorso visto che la base pc che hai lo permette, se non ricordo male OLLAMA è in grado di sfruttare più di una GPU, anche differente, anche miste amd\nvidia\intel; perciò se e quando avrai bisogno di più VRAM, se riterrai opportuno, potrai prendere il tuo pc e buttarci dentro una seconda VGA "la-qualunque-più-economica" con la vram in più che ti serve.

[acir]

Originariamente inviato da Perseverance

Scrivi almeno a che risoluzione giochi.

Hai ragione, chiedo venia!
Non l'ho citato perchè come dicevo in apertura ho un vecchio 3930k con una rx 590 e a parte qualche titolo full hd, ormai giocavo solo indie.

Diciamo che non mi dispiacerebbe giocare almeno 1440p, ma sul monitor ancora non sono attrezzato!

Originariamente inviato da Perseverance

Stando così le cose la scelta si riduce a queste:
NVIDIA RTX 4080 Super
NVIDIA RTX 4080
NVIDIA RTX 4070Ti Super
AMD dalla RX 7600 XT in su

Il fatto è che il modello di punta AMD RX 7900 XTX la trovi attualmente ad un prezzo che è inferiore alla 4070Ti Super, e con 24GB di ram invece di 16GB. Fai una ricerca prezzo e la trovi sulle 800€ spedita nuova.

In gaming la AMD non è male, riguarda questo vecchio benchmark e fatti un'idea...
https://www.techspot.com/review/2588...deon-7900-xtx/

Ti ringrazio, ha senso quello che dici!