AAC è un codec audio come MP3, FLAC, Vorbis, Opus, LDAC, ecc.
M4A è un contenitore audio che nel caso specifico contiene audio AAC, ma potrebbe contenere altri codec come la versione lossless di Apple ALAC. Teoricamente non ci dovrebbero essere differenze se non a livello di contenitore tra file con estensione AAC e M4A, sempre se questi vengono estratti e non ricompressi.
Per quanto riguarda GUI Windows di yt-download/yt-dlp lascio a qualcun altro la risposta non utilizzando SO made in Redmond, anche se ti consiglierei di aprire un nuovo thread perché qui è un tantino OT.