Ti propongo
Debian stable (6.0.x anche detta squeeze) con desktop
Xfce 4.6.
Vedo che il server che ti interessa è alla stessa versione in tutti i rami (escluse piccole patch Debian).
Il modo migliore per installare solo Xfce è
seguire queste due istruzioni utilizzando un'immagine netinstall, che necessita di una buona connessione internet disponibile e funzionante (citi una macchina virtuale, quindi non dovrebbero esserci problemi a configurare la rete nell'installer: dovrebbe fare tutto da solo se è impostata in modo normale).
Alternativamente esistono immagini preconfezionate per Xfce, temo però installino anche il leggero LXDE, aumentando un po' lo spazio occupato ad installazione terminata, ma molto semplice da rimuovere una volta compreso il concetto di repository e dipendenze:
Host di virtualizzazione? La virtualizzazione è solo per provare o è la configurazione definitiva?
Accorgimenti per macchine virtualizzate: elevator=noop in Grub2, installare i driver/software specifici da abbinare all'host: