Quote:
Originariamente inviato da Opteranium
modelli linguistici.. su un raspberry?
|
Su un Rpi5 con 8GB ci puoi far girare tranquillamente (nel senso che sono usabili, il 3.2 un po' pių veloce del 3.1 anche se leggermente meno preciso) llama3.1 e llama3.2.
Un Rpi5 con 4GB č sufficiente per usare llm un po' pių slim ma con precisione sufficiente per estrazione e presentazione contestuale di tag da allegare a url da archiviare nel proprio bookmark manager locale.