Mi è capitata la stessa identica cosa. In pratica ci dev'essere nella cartella "Musica" un file tipo cover.jpg/front.jpg nascosto (anche impostando dalle opzioni cartella di viasualizzare tutti i file non si vede lo stesso), e probabilmente il lettore applica quella copertina a tutti i file.
Ho risolto così
Con everything
http://www.voidtools.com/ (c'è anche la versione portable)
cerca cover (o front o se non trovi nulla metti .jpg)
Ti verrà fuori tutta la lista di file presenti nel tuo pc, basta poi che visualizzi in base al percorso e vedi quali file immagine ci sono nella cartella musica.
Da li cancella il file e dovrebbe essere a posto.
Postilla: dovrebbe funzionare anche con programmi tipo freecommander che riescono a vedere tutti i files (quindi più comodo da fare), tuttavia non avendolo installato non ho provato se funziona