NVIDIA lavora su Neural Texture Compression: giochi più fotorealistici e minore uso di VRAM

Al SIGGRAPH 2023 che si terrà ad agosto NVIDIA parlerà di "Random-Access Neural Compression of Material Textures", una nuova tecnica di compressione neurale pensata specificatamente per le texture dei materiali. Lo studio nasce dalla volontà di affrontare un problema, ovvero la crescente domanda di storage e memoria legati a una grafica che, anno dopo anno, aspira sempre di più al fotorealismo.

"Sblocchiamo due livelli di dettaglio in più, ad esempio 16 volte più texel, usando un bitrate di compressione inferiore, con una qualità d'immagine che è migliore delle tecniche di compressione d'immagine avanzate, come AVIF e JPEG XL. Allo stesso tempo il nostro metodo permette la decompressione on-demand in tempo reale, con accesso casuale simile alla compressone di blocchi di texture sulle GPU, permettendo la compressione su disco e memoria".

Gli ingegneri di NVIDIA, tra cui ritroviamo anche l'italiano Marco Salvi, spiegano che "l'idea chiave dietro il nostro approccio è comprimere più materiali texture e le loro catene di mipmap insieme, e usare una piccola rete neurale, che è ottimizzata per ogni materiale, per decomprimerli. Infine, usiamo un'implementazione di addestramento personalizzata per raggiungere velocità di compressione funzionali, le cui prestazioni superano quelle di framework generali, come PyTorch, di un ordine di grandezza".

Neural Texture Compression (NTC) sembra promettere quindi un uso più efficace della VRAM delle schede video, un problema lamentato da molti appassionati. Con 16 volte più texel rispetto alla compressione standard Block Compression (BC), NTC si presenta come un lavoro ancora da affinare ma che sembra partire sotto una buona stella, infatti sfruttando i Tensor core di una RTX 4090 per renderizzare un'immagine in 4K i primi dati prestazionali sono buoni, seppur perfettibili.

"Che dire delle prestazioni?", recita un tweet del ricercatore Bart Wronski, "le reti neurali non sono lente? Non proprio! Sfruttando le GPU NVIDIA con potenti cache e Tensor Core, comprimiamo un materiale 4K a 9 canali in circa 1 minuto. Il costo di decompressione all'interno di uno shader è di circa 0,6-1,1 ms a risoluzione 4K".

In un esempio presente nel video che potete vedere di seguito, si vede che la nuova tecnica prevede texture che occupano 3,6 MB, leggermente più grandi di quelle compresse utilizzando il metodo classico (3,33 MB), ma con filtri di qualità superiore e molti più dettagli. La GeForce RTX 4090 usata per il confronto impiega solo 0,49 ms con la tecnica BC e 1,15 ms con NTC.

Può sembrare una piccola differenza ma, in una pipeline di rendering in cui ogni millisecondo gioca un ruolo importante, non lo è. NVIDIA sta lavorando per migliorare le prestazioni di Neural Texture Compression, seppur come affermato da Wronski, il livello raggiunto rientra già nel reame dell'applicabilità concreta.