Modelli gen AI sul tuo Raspberry Pi? Con AI HAT+ 2 adesso è possibile (ma con qualche limite)

Raspberry Pi ha annunciato AI HAT+ 2, una nuova scheda di espansione pensata per Raspberry Pi 5 che integra il coprocessore Hailo-10H e 8 GB di RAM ed è dedicata all'accelerazione di carichi di lavoro di intelligenza artificiale, inclusi piccoli modelli di IA generativa. Il modulo, proposto a 130 dollari (circa 140 euro sul mercato europeo), rappresenta l'evoluzione dell'AI HAT+ lanciato in precedenza e sposta una parte significativa dell'elaborazione AI fuori dalla CPU ARM della scheda principale.

AI HAT+ 2 utilizza il connettore PCI Express proprietario del Raspberry Pi 5 e ospita il nuovo acceleratore neurale Hailo-10H, con capacità di calcolo fino a 40 TOPS di prestazioni inferenziali in formato INT4, e circa 20 TOPS in INT8 secondo le specifiche del produttore. A differenza del primo AI HAT+, che usava la memoria di sistema del Pi, questa versione integra 8 GB LPDDR4X direttamente on-board e dedicata esclusivamente al coprocessore AI.

La scheda è compatibile solo con Raspberry Pi 5 e comunica tramite interfaccia PCIe, con il supporto integrato in Raspberry Pi OS e un set di esempi e modelli di riferimento forniti tramite il cosiddetto "model zoo" di Raspberry Pi e Hailo. Il produttore segnala inoltre la necessità di un raffreddamento adeguato, poiché l'acceleratore può arrivare a consumare alcuni watt sotto carico continuo.

Modelli supportati e casi d'uso

Secondo Raspberry Pi e i partner, AI HAT+ 2 può eseguire in locale piccoli modelli di linguaggio e modelli multimodali, tra cui varianti compatte di Llama 3.2, DeepSeek-R1-Distill e la serie Qwen, oltre a modelli come Llama-3.2-3B-Instruct, Qwen2.5-VL-3B e sistemi ASR basati su Whisper-base. Rispetto al precedente modulo, progettato soprattutto per inferenza di computer vision, l'aggiunta della RAM dedicata consente di caricare modelli generativi fino a circa 1,5 miliardi di parametri, abilitando applicazioni testuali oltre alla sola analisi di immagini.

Il dispositivo può essere utilizzato non solo per l'esecuzione ma anche per la fase di addestramento leggero e fine-tuning di modelli su dataset specifici, ad esempio per assistenti vocali domestici o sistemi embedded che richiedono elaborazione in locale senza affidarsi al cloud. Raspberry Pi mette a disposizione esempi e template per facilitare lo sviluppo di applicazioni personalizzate, in particolare in ambiti come domotica, robotica e analisi video in tempo reale.

Prestazioni reali e limiti emersi nei test

Lo sviluppatore e YouTuber Jeff Geerling ha effettuato alcuni test per questa nuova scheda di espansione i quali indicano che, per alcuni modelli supportati, un Raspberry Pi 5 con 8 GB di RAM può risultare più veloce dell'acceleratore AI HAT+ 2, a causa del vincolo di potenza, con il Pi capace di spingersi fino a circa 10 watt contro i circa 3 watt del modulo Hailo. In scenari di generative AI pura, le performance restano quindi limitate.

Per carichi di visione artificiale, invece, le prestazioni risultano comparabili a quelle dell'AI HAT+ precedente o del Raspberry Pi AI Kit, che restano alternative più economiche se l'obiettivo principale è la computer vision tradizionale. In quest'ottica, l'AI HAT+ 2 si posiziona come prodotto di nicchia per chi vuole sperimentare l'IA generativa on-device, più che come upgrade obbligato rispetto alle soluzioni esistenti.

Prezzo, disponibilità e compromessi progettuali

AI HAT+ 2 è già disponibile tramite i canali ufficiali Raspberry Pi e rivenditori partner a un prezzo di listino di 130 dollari, sensibilmente superiore al primo AI HAT+ che partiva da circa 70 dollari a seconda della configurazione. La scheda occupa l'unico slot PCIe del Raspberry Pi 5, escludendo quindi l'uso simultaneo di unità NVMe e imponendo l'impiego di altre soluzioni di storage, meno performanti rispetto all'SSD PCIe.

Questo compromesso potrebbe rende il prodotto meno interessante in contesti dove lo storage veloce è prioritario, mentre la possibilità di eseguire modelli LLM compatti in locale è certamente interessante per quelle applicazioni edge dova la privacy è un aspetto fondamentale. Nel complesso, AI HAT+ 2 amplia l'ecosistema Raspberry Pi sul fronte dell'IA, ma la reale utilità dipende fortemente dal tipo di carichi di lavoro e dalle esigenze specifiche del progetto.