configurazione economica-midrange per machine learning llm locale

[alegeott]

Ciao a tutti.
Sto pensando di prendere un nuovo pc fisso per fare inferenza, principalmente su llm e simili che facendo degli esperimenti che prevedono l'uso di cuda (quindi per forza una gpu nvidia), eventualmente con ggml (https://github.com/ggerganov/ggml/) provando a dividere il carico sulla cpu per i modelli più pesanti.

Ho pensato a due possibili build alternative:

https://it.pcpartpicker.com/list/FGXVRK
https://it.pcpartpicker.com/list/Xd6NTY


Di seguito la lista testuale per chi non vuole aprire link esterni:
CPU
AMD Ryzen 5 7600X 4.7 GHz 6-Core Processor
€216.64

CPU Cooler
ARCTIC Liquid Freezer II 280 72.8 CFM Liquid CPU Cooler
€69.48

Motherboard
MSI MPG B650 CARBON WIFI ATX AM5 Motherboard
€280.95

Memory
G.Skill Flare X5 48 GB (2 x 24 GB) DDR5-6000 CL40 Memory
€160.00

Storage
Crucial P3 Plus 1 TB M.2-2280 PCIe 4.0 X4 NVME Solid State Drive
€85.31

Video Card
MSI GeForce RTX 3060 Ventus 2X 12G GeForce RTX 3060 12GB 12 GB Video Card
€326.98

Case
Lian Li LANCOOL 215 ATX Mid Tower Case
€92.25

Power Supply
Corsair RM750e (2023) 750 W 80+ Gold Certified Fully Modular ATX Power Supply
€127.50

Diciamo che come budget vorrei spendere il meno possibile, comunque posso arrivare fino a 1500€ circa. Per iniziare vorrei rimanere su 48 o 64gb di memoria ram. Farei l'acquisto per semplicità su amazon.
Cosa ne dite?

[celsius100]

Ciao
Hai requisiti o esigenze particolari per il PC?
Ti dico subito di dare un'occhiata su warehouse xke ce una Msi 3070Ti usata quasi allo stesso prezzo di quella 3060 che hai messo in lista, 392 euro ha meno vram ma è più potente

[OWK]

Ciao,
Per la IA e i LLM in particolare hai bisogno di quanta più vram possibile.
È vero che oggi puoi usare in parte anche la RAM normale, ma la perdita di prestazioni è veramente notevole. Con una 3060 (la ho anche io) riesci a far andare in tempo reale un modello 7b, con i 13b già avrai rallentamenti perché non riesci a far stare tutti I layers nella vram.. e oggi i modelli arrivano tranquillamente a 70b.. o peggio, vedi Goliath.
Sul nuovo, come scheda video andrei almeno su una 4060 ti 16gb, scheda non da gamer ma che per l'IA comincia a dare più libertà. (Personalmente farei lo sforzo per una 4070 ti super, magari aspettando un mese se mi manca un po' di budget).
Sull'usato il best buy è la 3090.
Per la RAM di sistema andrei dritto sui 64gb, proprio per ggml et similia.
Mi terrei anche la possibilità di aggiungere una seconda scheda video in futuro, quindi x670 al posto di b650.
SSD.. ti troverai a voler provare diversi (molti!) modelli e ad occupare veramente molto spazio su disco. Prevedi come minimo un altro hdd, ma aumenterei anche la capienza dello SSD

La mia conf per IA entry level di un paio di anni fa è:
- Ryzen 5800x
- AMD b550m (ahimè!)
- 64gb 3600
- rtx 3060 12gb
- SSD 4gb