Intendi fare un linux compilato a partire da zero?
In questo caso dipende se:
hai una macchina vecchia ho con un architettura particolare, allora sì;
se vuoi imparare, se sei curioso, se la prendi come sfida (caso mio

), ancora sì.
Ma se ti serve un normale sistema desktop, il tempo guadagnato nel far partire il sistema 5 secondi prima o i 2,5 secondi in meno nell'apertura di firefox (ho messo tempi assolutamente casuali) li perdi ampiamente con le ore perse nella compilazione e i giorni (

) persi nella risoluzione di problemi, quindi no.
Io ho una slackware. Non avevo kde, per un problema che ho avuto in fase di installazione e mi serviva. Ho scaricato i pacchetti .tgz dal sito ufficiale. Con pkgtool ci avrò messo meno di 5 min

. Non mi è sembrato vero.