secondo me autoremove è uno strumento utilissimo che uso spesso.
certo può accadere che voglia rimuoverti un pacchetto che invece ti serve per un programma installato localmente e che quindi apt-get non può riconoscere.
sta al sysadmin accorgersene, certe volte basta un lock al pacchetto