rimuovere i duplicati da una lista

[kingv]

in uno script bash ho una lista (che arriva da elaborazioni precedenti) del tipo:

elem1
elem1
elem2
elem2
elem3


e io vorrei avere qualcosa del tipo:

elem1
elem2
elem3

insomma una GROUP BY nell script

idee? con sed non si puo', con awk non sono capace

[cn73]

Non so se ti può essere utile questa porzione di un mio script per eliminare alcuni file...Ovviamente da riadattare...

for token in $files
	do				
                   counter=`expr $counter + 1`
	   if [ $counter -gt 1 -a -f $token ]
	     then
	       esito=`rm $token`			
	     if [ "x$esito" = "x" ]
	      then
	       echo cancellato il file $token
	     else
	      echo $esito
	     fi
	 fi
	done

[kingv]

Originariamente inviato da cn73
Non so se ti può essere utile questa porzione di un mio script per eliminare alcuni file...Ovviamente da riadattare...

mi hai letto nel pensiero?
arrivo alla fine delle mie elucubrazioni nello script coi nomi duplicati, potrei testare l'esistenza con un if ma preferivo per ragioni di prestazioni (i file son pareccchi) "scremare" la mia lista prima di andare avanti.

in effetti potrei usare il tuo esempio

[cn73]

Che si trattava di files? Bhè era ovvio!

[kingv]

Originariamente inviato da cn73
Che si trattava di files? Bhè era ovvio!

non potrei avere una lista duplicata di zucchine?



cmq ho trovato anche il simpatico programmino uniq , del package textutils che rimuove i duplicati da una lista che gli passi in stdin