Comparativa codec lossy

[dav1deser]

Introduzione

Ciao a tutti, visto che spesso si discute sulla qualità dei codec audio di tipo lossy (MP3, AAC, Ogg vorbis etc...) ho pensato di proporvi una comparativa che andasse un po' al di fuori degli schemi, in particolare la mia vuol essere una comparativa del tutto oggettiva e indipendente dall'impianto audio, dall'orecchio o da altre variabili poco controllabili.

Procedimento

Per avere dei dati oggettivi ovviamente non c'è nessuno che ascolta i file, la base di tutto sta nel comparare lo spettro audio di un file FLAC con lo spettro della stessa canzone codificata con differenti codec lossy e a differenti bitrate. Per fare ciò mi sono avvalso di due software gratuiti: Foobar2000 (v1.1.7 per le conversioni) e Audacity (1.3.13 beta, per gli spettri).
I codec lossy che ho analizzato sono stati: MP3 (Lame a 320kb/s CBR; V0; V1; V2; V3; V4; V5; V6; V7; V8; V9, per chi non lo sapesse questi ultimi sono VBR con qualità decrescente al crescere del numero dopo la V); AAC (con codec Apple in modalità TVBR con fattore qualità a partire da 15 fino a 120 con step di 15, inoltre ho utilizzato anche fattre di qualità pari a 100 e a 127) e Ogg vorbis (con fattore di qualità Q a partire da -1 fino a 10 con step di 1).
Il FLAC di partenza è stato convertito in tutti questi formati tramite il già citato Foobar2000 e i file ottenuti sono stati analizzati tramite Audacity, in particolare ho utilizzato la funzione "Mostra Spettro" (Algoritmo: Spettro; Dimensione: 16384; Funzione: Rettangolare finestra; Asse: Frequenza lineare), gli spettri sono stati quindi esportati in semplici file TXT.
I file degli spettri si presentano come 2 colonne: Frequenza (Hz) e Livello (dB). Poichè il range di frequenze dello spettro dipende dal file audio, ho aggiunto alle tracce un suono a frequenza pari a 22KHz, questo suono è stato aggiunto prima dell'inizio effettivo della canzone ed è stato selezionato prima di eseguire l'analisi dello spettro. In questo modo il range d'analisi delle frequenze è diventato indipendente dal file audio analizzato. Mi sono quindi focalizzato sulla colonna dB: in primo luogo ho creato un foglio di calcolo con OpenOffice dove ho incollato le colonne dB del FLAC di partenza seguito dalle colonne dB dei file compressi (per comodità focalizzandomi su un solo codec alla volta). Poichè nello spettro l'assenza di audio a una data frequenza non coincide col valore 0dB, ma è un valore negativo nell'ordine dei -90dB, e anche la presenza di audio da orgine a un valore negativo, ho sommato tutte le colonne con il valore di dB più basso. Successivamente ho analizzato le colonne dei file lossy paragonandole al FLAC per ottenere una differenza percentuale fra i dB del FLAC e quelli dei file compressi, in particolare ho creato delle nuove colonne i cui valori corrispondevano a "(dB_MAX - dB_MIN)/db_FLAC" dove dB_MAX è il valore di dB più alto ad una data frequenza fra lo spettro del FLAC e lo spettro del lossy, similmente dB_MIN è il valore più basso ad una data frequenza fra lo spettro del FLAC e lo spettro del lossy, dB_FLAC invece è il valore di dB dello spettro del FLAC alla data frequenza.
Esempio1: alla frequenza di 10kHz il FLAC ha un'intensità di 30dB il lossy di 10dB, db_MAX sarà 30, db_MIN sarà 10, db_FLAC sarà 30.
Esempio2: alla frequenza di 10kHz il FLAC ha un'intensità di 30dB il lossy di 40dB, db_MAX sarà 40, db_MIN sarà 30, db_FLAC sarà 30.
In questo modo si ottiene che la differenza percentuale fra i due spettri sarà sempre un numero positivo, il che è fondamentale per il successivo passaggio: il calcolo della media di questa differenza percentuale (che successivamente chiamerò "Errore") sull'interò intervallo di frequenze. In definitiva si ottengono i valori medi di errore di ogni codec lossy per ogni bitrate esaminato. Avendo usato alcuni codec con bitrate variabile ho anche calcolato il bitrate effettivo basandomi sulla dimensione del file e sulla durata della traccia audio. Si possono quindi creare grafici in cui mostrare l'andamento dell'errore in funzione del bitrate e del codec selezionato.

Risultati

I risultati riportati di seguito sono stati ottenuti utilizzando la procedura appena descritta applicata a 4 diverse canzoni (è un lavoro un po' lungo e voglio ricevere i vostri feedback prima di continuare con altre canzoni). In particolare ho utilizzato: Made Of Stone (Evanescence); What You Want (Evanescence); Sinèad (Within Temptation); A Way Away (Indica). Essendo le prime due canzoni molto simili (stesso gruppo, stesso album, stesso genere) risultati simili potevano essere abbastanza scontati, così ho scelto di usare altre 2 canzoni che fossero sufficientemente diverse fra le prime due e fra di loro.

MP3:

Utilizzando una scala semi-logaritmica è possibile notare un'ottima linearità dei valori di errore al variare del bitrate utilizzato.

OGG:

Risultato analogo per il codec OGG Vorbis, anche se mostra una dispersione dei dati a valori di bitrate elevati.

AAC:

Per gli AAC il discorso si fa più complicato, la linearità è del tutto assente, tuttavia in grafico sono presenti i dati di tutte e 4 le canzoni, quindi questo non è un caso isolato. Si possono identificare 2 regioni: bitrate minori di 250kb/s l'andamento è abbastanza normale e simile agli OGG e agli MP3; bitrate maggiori di 250kb/s il valore di errore è fortemente dipendente dalla specifica traccia audio, inoltre questo diventa del tutto indipendente dal bitrate utilizzato. Personalmente sono due le possibili spiegazioni che ho trovato per il comportamento dell'ultima regione, la prima è che il codec AAC sviluppato da Nero sia stato ottimizzato per bitrate attorno ai 300kb/s e che valori superiori siano stati resi accessibili più per ragioni di "marketing" che di reale utilità, la seconda ipotesi è che il codec a bitrate così alti vada a lavorare su fattori non tenuti in considerazione dalla mia procedura, mantenendo di fatto invariato lo spettro perchè ritenuto sufficientemente fedele all'originale.

Conclusioni

Per meglio valutare la bonta di un codec rispetto all'altro è necessario mostrare i risultati all'interno di uno stesso grafico:



Il primo e più scontato commento che si può fare riguarda l'MP3: chiaramente questo è un codec sconsigliabile in quanto genera un errore medio sempre superiore a quello generato dagli altri 2 codec. AAC e OGG invece si contendono lo scettro di miglior codec (limitatamente ai 3 analizzati) a seconda del bitrate utilizzato a causa dell'andamento peculiare del primo: per bitrate medio-bassi (inferiori a 250kb/s) il codec OGG Vorbis tende a mantenersi più simile all'originale; per bitrate medio-alti (fra i 250 e i 350) il codec AAC si dimostra generalmente migliore (ma sembra sconsigliabile superare i 300kb/s con questo codec in quanto i miglioramenti, relativamente alla mia procedura di calcolo, risultano nulli); per bitrate estremamente alti (>450kb/s) il codec OGG Vorbis è un chiaro vincitore.

Note e P.S

Mi rendo conto che questo metodo di calcolo dell'errore non è perfetto, in particolare la mia idea iniziale era quella di comparare frequenza e intensità istante per istante (o comunque con una frequenza di campionamento ragionevole) in modo da poter considerare le differenze fra originale e compresso sotto ogni punto di vista, tuttavia con i software a me noti questo non era possibile (se conoscete software che mi consentono ciò consigli sono ben accetti, quantomeno si può valutare meglio la bontà di questo mio approcio semplificato).
Critiche costruttive sono più che ben accette, critiche fatte tanto per fare no e non verranno tenute in considerazione.
Se avrò da voi un feedback positivo analizzerò altre canzoni in modo da avere un campione più ampio, e se siete interessati, anche altri codec (MPC e WMA per dirne altri due abbastanza diffusi).
Se siete interessati posso anche inviarvi i fogli di calcolo che ho usato pronti per ricevere in input gli spettri delle vostre canzoni e con tutte le formule già impostate per fare automaticamente i calcoli sui vostri dati.

Per il momento credo sia tutto.

[magisterarus]

Comparativa molto interessante, complimenti!
Sarebbe utile confrontare anche i risultati degli AAC con codec Apple.

[dav1deser]

Grazie, per gli AAC Apple si può provare (non so perchè non ci avevo nemmeno pensato...), ho già visto che con Foobar2000 (e l'encoder di itunes) si può fare, spero solo che audacity non abbia difficoltà a leggere i file.

[magisterarus]

Originariamente inviato da dav1deser

Grazie, per gli AAC Apple si può provare (non so perchè non ci avevo nemmeno pensato...), ho già visto che con Foobar2000 (e l'encoder di itunes) si può fare, spero solo che audacity non abbia difficoltà a leggere i file.

Esattamente. Tuttavia iTunes non è necessario. Bastano QuickTime ed il frontend qtaacenc utilizzabile tramite foobar2000.

[dav1deser]

So che iTunes non è necessario, difatti adesso stavo facendo una prova, però usando iTunesEncode.exe

[dav1deser]

Ok ho provato con qtaacenc e quicktime e ha funzionato, Audacity non ha dato problemi. Quindi poi aggiungerò anche l'AAC di Apple.

[dav1deser]

(Il seguente post è stato aggiunto al primo)

AAC: Apple vs Nero

Questa è una piccola comparativa incentrata sul codec AAC, essendo stato sviluppato in due differenti versioni, da Apple e da Nero, è lecito chiedersi che differenze ci siano fra queste due versioni. Per ora mi sono limitato ad analizzare una sola canzone utilizzando i due codec AAC in modalità CBR, con bitrate minimo di 32kb/s e a crescere a step di 32kb/s (fino ad un massimo di 320kb/s per il codec Apple, e fino ad un massimo di 512kb/s per il codec Nero).
Questo è il risultato



L'andamento peculiare del codec AAC di Nero si riscontra anche con l'AAC Apple. Per bitrate inferiori ai 100kb/s il codec Nero risulta superiore, mentre se si guarda il range da 100 a 200kb/s i risultati sono del tutto analoghi. Nel range 200-300kb/s i risultati sono altalenanti, mentre per bitrate maggiori la qualità torna ad essere alla pari, mostrando per entrambe le versioni di codec una totale assenza di miglioramento per bitrate superiori.

[magisterarus]

Puoi testare il codec Apple anche in modalità True VBR alla massima qualità? (--tvbr 127 --highest - %d).
Ho letto - e verificato attraverso foobar - che il VBR Apple è molto più "elastico" ed efficiente rispetto al Nero, con picchi nel bitrate che possono superare gli 800 kb/s.

[dav1deser]

Ok più tardi farò qualche prova.

[dav1deser]

(Il seguente post è stato aggiunto al primo)

AAC parte 2

Come si comportano invece i codec Apple e Nero quando si passa alla modalità VBR? Per rispondere a questa domanda ho analizzato una canzone sfruttando la modalità VBR del codec nero impostando un fattore di qualità compreso tra 0.1 e 1 con step di 0.1, per il codec Apple ho utilizzato la modalità TVBR impostando un fattore di qualità compreso tra 15 e 120 a step di 15 e utilizzando anche il massimo fattore di qualità pari a 127.
Questo è il risultato:



Si può notare come per bitrate inferiori a 200kb/s o superiori a 300kb/s i risultati siano praticamente coincidenti, mentre per valori intermedi il codec Apple è in grado di garantire una qualità superiore.
Per completezza ho riportato anche i confronti fra CBR e VBR (TVBR per Apple) per entrambi i codec.

Nero:


Stranamente la modalità CBR sembra garantire la stessa qualità del VBR, o persino superiore nel range 200-300kb/s

Apple:

In questo caso invece la modalità TVBR garantisce un qualità pari o superiore a quella del CBR.

Quindi la modalità migliore per gli AAC Nero è il CBR, mentre per gli AAC Apple è il TVBR, il confronto fra questi due è mostrato di seguito:

L'Apple TVBR si dimostra superiore nel range 200-300kb/s, per tutti gli altri valori di bitrate le differenze sono pressochè nulle.

(Questo

[bluv]

sembra interessante
appena la leggo ti dico

[magisterarus]

Ottimo lavoro.
Se non li hai già eliminati, sarebbe interessante - a completamento della disamina - un raffronto tra il "peso" dello stesso file nelle varie codifiche analizzate.

[FryOne]

Interessante, dav1deser... Le rilevazioni oggettive sono sempre utili. Se non altro dovrebbero servire a temperare la "soggettività" di quelle soggettive...

[Ale88]

Interessante analisi. Vorrei chiedere una cosa: come si comporta la tua analisi se un algoritmo inserisse un minimo di attenuazione uniforme su tutte le frequenze? Questo dubbio mi è venuto leggendo l'equazione (dB_MAX - dB_MIN)/db_FLAC.

[reckca]

Originariamente inviato da FryOne

Interessante, dav1deser... Le rilevazioni oggettive sono sempre utili. Se non altro dovrebbero servire a temperare la "soggettività" di quelle soggettive...

In realtà, secondo me, quello che sarebbe veramente interessante sapere è quanto l'orecchio umano è mediamente in grado di percepire le differenze.
Che ci siano (le differenze) è scontato, il lossy si basa proprio nell'eliminare dati per rendere un file leggero eliminando quello che comunque non saremmo in grado di percepire.

[Ale88]

Inviato da reckca
[...]quanto l'orecchio umano è mediamente in grado di percepire le differenze.[...]

A questo punto andrebbe anche fatta un'analisi della qualità di percezione di un 20enne contro quella di un 50enne, quella di uno abituato al traffico cittadino contro quella di un eremita.
Direi che la soggettività non si potrà mai eliminare.

[reckca]

Originariamente inviato da Ale88

A questo punto andrebbe anche fatta un'analisi della qualità di percezione di un 20enne contro quella di un 50enne, quella di uno abituato al traffico cittadino contro quella di un eremita.
Direi che la soggettività non si potrà mai eliminare.

Siamo daccordo, ma a meno che tu non sei superpippo, è comunque possibile stabilire quello che ho detto.
Poi ci sarà il ventenne (che sarai presumibilmente tu) che avrà una percezione migliore, un cinquantenne (che sono io) che la avrà peggiore, ma i 10 hz ed i 30K normalmente nessuno li percepisce, quindi se il taglio viene fatto lì, gli strumenti se ne accorgono e tu no.
Altrimenti è un cretino chi ha ideato i file lossy.

[FryOne]

Originariamente inviato da reckca

Altrimenti è un cretino chi ha ideato i file lossy.

Chi ha ideato (o meglio, chi ci fa i soldi sopra) i lossy non è un cretino: è uno molto furbo. Perché c'è un'intera generazione di persone che credono che ascoltare mp3 sia ascoltare musica. E gli mp3 te li vendono a 1 euro l'uno... siamo ai limiti della circonvenzione d'incapace! E dov'è c'è un piano diabolico, c'è quasi sempre un'ideologia. Nello specifico, l'ideologia è: "ah, ma tanto si tratta di suoni inudibili per l'orecchio umano a meno che non sia bionico!"... quando ho sentito per la prima volta questa fregnaccia il riferimento era a mp3 (o m4a) a 128 kbps!... poi lo si diceva di quelli a 256... ma per favore!
Io, come minimo sindacale al posto dei loseless, uso AAC codificati con Nero a 350/400 kbps - , e gli mp3, pure a 320, mi fanno schifo: eppure non sono giovane (35 anni), non sono "audiofilo" e non ho l'orecchio bionico.

[Rainy nights]

Santa m***a che lavoro
Complimentissimi, me lo leggo con calma (tanto non ho sonno )

[reckca]

Originariamente inviato da FryOne

Chi ha ideato (o meglio, chi ci fa i soldi sopra) i lossy non è un cretino: è uno molto furbo. Perché c'è un'intera generazione di persone che credono che ascoltare mp3 sia ascoltare musica. E gli mp3 te li vendono a 1 euro l'uno... siamo ai limiti della circonvenzione d'incapace! E dov'è c'è un piano diabolico, c'è quasi sempre un'ideologia. Nello specifico, l'ideologia è: "ah, ma tanto si tratta di suoni inudibili per l'orecchio umano a meno che non sia bionico!"... quando ho sentito per la prima volta questa fregnaccia il riferimento era a mp3 (o m4a) a 128 kbps!... poi lo si diceva di quelli a 256... ma per favore!
Io, come minimo sindacale al posto dei loseless, uso AAC codificati con Nero a 350/400 kbps - , e gli mp3, pure a 320, mi fanno schifo: eppure non sono giovane (35 anni), non sono "audiofilo" e non ho l'orecchio bionico.

Scusa, ma guarda che non sei assolutamente in contraddizione con quello che dico, perchè rispetto all'originale con un aac stai comunque lavorando per sottrazione di tutto quello che presumibilmente non ti toglie il gusto della musica (solo che tu hai daciso che quello è il tuo limite minimo).
Gli mp3 a 128 non erano un furto, forse una furbata, ma che ha consentito ai lettori di svilupparsi.
Non dimenticare che si andava in giro con lettori a 128, 256 e 512k (circa 500k ora è un disco rippato in flac), e che le esigenze di riduzione erano enormi, e che solo alla possibilità di utilizzare memorie maggiori si è fatto poi riscontro con l'esigenza di migliorare la qualità.
C'è da dire inoltre che senza gli mp3 non staremmo a parlare di tutto il resto, i primi lettori avrebbero deluso tutti e la tecnologia non si sarebbe sviluppata come poi invece è successo.
Ti dirò poi che non tutti sono come te, e che spesso se utilizzi file più pesanti (ma anche più dettagliati) utilizzi più memoria ed utilizzando cuffie scadenti come fa il 90% (stima mia eh? senno poi si polemizza su numeri sparati a caso) non è che il vantaggio sia così udibile.
A me ad esempio come minimo sindacale lo mp3 a 320 va benissimo, forse sono meno bravo di te a capire le differenze.
Solo nel caso della Ultrasone Pro 900 ho problemi, in quanto particolarmente sensibile alla qualità del file (non perdona), ma anche con la Sennheiser hd 600 gli mp3 a 320 sono godibilissimi.
(Faccio parte di quelli che credono alle fregnacce, o forse siamo tutti un poco fregnacciari in questo campo - sai quanta gente con strumenti mediocri coglie le differenze tra flac ed mp3?)