Si si può.
Devi creare una rete di tipo "ad-hoc". Nel programma di configurazione delle schede di rete ci dovrebbe essere la scelta tra "ad-hoc" e "infrastructure".
Poi è facile, almeno con winXP. Basta andare alle connessioni di rete (su ogni pc) e cliccare su "Installa una rete domestica o una piccola rete aziendale"; durante questa operazione viene chiesto se il pc corrente è direttamente connesso ad internet e vuole condividere tale connessione o se il pc si connette tramite un altro pc, chiaramente la prima opzione è da selezionare solo sul pc direttamente connesso ad internet, tutti gli altri sceglieranno la seconda.
Ho avuto una connessione di questo tipo fino alla settimana scorsa, ha sempre dato qualche problema, forse dovuto alle diverse schede di rete, ma sei giorni su sette almeno andava tutto bene ^^
edit: mi sono accorto solo ora che qui sotto c'è un topic molto più esauriente a riguardo ^^
anche se la fa un pò lunga :P
http://www.hwupgrade.it/forum/showthread.php?t=945276