Ciao David, che distro usi?
Io ti consiglio di usare "checkinstall" al posto di "make install"; praticamente questo tool (che trovi in quasi tutte le distro; o meglio nei repository) ti permette di creare un pacchetto (tgz-> x slackware e simili; rpm-> red-hat e simili; deb-> per debian, ubuntu etc) che poi potrai tranquillamente rimuovere dal gestore dei pacchetti.
Io ho iniziato ad usarlo con la slack anni fa e funziona bene nel 99% dei casi, ora sono in ubuntu e lo uso felicemente anche quì...
Diciamo che l'unico difetto che puoi trovarci è questo: se lo usi in distro tipo debian o red-hat (rpm-deb) non tiene traccia delle dipendenze (neanche su slack ehh, ma in questa distro è così, le dipendenze sono un divertimento...); ma credo non sia troppo grave se i pacchetti li crei e li gestisci te perchè bene o male ti ricordi le dipendenze che devono essere soddisfatte (almeno io me le ricordo); poi in caso di molte dipendenze creo un file di testo e le segno; sposto il file e il pacchetto creato in una directory propria in modo da facilitarmi la vita se devo reinstallarlo dopo molto tempo o su qualche altra macchina.
Se non lo trovi nei repository della tua distro:
http://asic-linux.com.mx/~izto/checkinstall/ .
Ciao.
Ps: Io i sorgenti decompressi in genere li rimuovo dopo un paio di giorni (il tempo di test del programma); se proprio per qualche motivo devo ricompilarlo riscarico il tarball e lo ricompilo ex-novo; poi vedi te, io lo faccio per risparmiare spazio, tengo solo i pacchetti creati con checkinstall.