Riordinare righe di un file.log è possibile?

[Matrixbob]

Il file di log contiene tipiche righe di log di un server:

[08/10/27@13:59:22.704+0200] P-004862 T-000000 2 WS QRYINFO Query Plan: utpaxbar.p line 299
[08/10/27@13:59:23.704+0200] P-004862 T-000000 1 WS -- (Procedure: 'utpaxbar.p' Line:301) 0 -9999
[08/10/27@13:57:22.704+0200] P-004862 T-000000 1 WS -- (Procedure: 'utpaxbar.p' Line:301) 1 -9998

... è possibile riordinare le informazioni di questo "marge d grep"?

[Matrixbob]

Eurika!
il SORT.

[Nemo1985]

Salve, ho una necessità "simile" ho un log di apache che dovrei far analizzare da un programma, vorrei però eliminare le connessioni loggate da un determinato indirizzo IP, fino ad ora ho sempre dovuto analizzare manualmente il log ed eliminare quello che non interessava manualmente, ora però devo analizzare un log di 3 mesi, una roba da 10mb, c'è qualche comando che mi permetta di cancellare completamente le righe in questione?
Esempio delle righe che vorrei cancellare:
127.0.0.1 - - [02/Oct/2008:16:02:22 +0200] "OPTIONS * HTTP/1.0" 200 - "-" "Apache/2.2.9 (Debian) PHP/5.2.6-3 with Suhosin-Patch (internal dummy connection)"
127.0.0.1 - - [02/Oct/2008:16:02:23 +0200] "OPTIONS * HTTP/1.0" 200 - "-" "Apache/2.2.9 (Debian) PHP/5.2.6-3 with Suhosin-Patch (internal dummy connection)"

Poi ve ne sono altre, di accesso al sito web da rete locale, da eliminare anch'esse.

Grazie in anticipo

[Matrixbob]

Usa il comando grep di Linux per prendere solo quello che ti interessa e riversane il contenuto in un file.
Dopo di che fai la stessa cosa col sort.

Linux shell rulez.

[Nemo1985]

Più che un inclusione di quel che mi interessa mi servirebbe escludere quelle righe, con grep è possibile tagliare e incollare le righe più su dal file originario ad un file creato ad hoc? In questo caso in access.log mi rimarrebbero tutti gli indirizzi esclusi quelli che ho eliminato, giusto?
Purtroppo non sono esperto di grep, un aiutino?

[eclissi83]

Originariamente inviato da Nemo1985

Più che un inclusione di quel che mi interessa mi servirebbe escludere quelle righe, con grep è possibile tagliare e incollare le righe più su dal file originario ad un file creato ad hoc? In questo caso in access.log mi rimarrebbero tutti gli indirizzi esclusi quelli che ho eliminato, giusto?
Purtroppo non sono esperto di grep, un aiutino?

direttamente dal man di grep:
-v, --invert-match
Invert the sense of matching, to select non-matching lines.

fai un cat del file con i vari grep -v redirectato in un altro file ancora...

esempio: cat access.log | grep -v "tuariga" | grep -v "altrariga" > cleanaccess.log

ciao

[Nemo1985]

Wow grazie, perfetto!
Ho dato un: cat access.log | grep -v "128.168.0.2" > cleanaccess.log

E funzionato alla perfezione, molte grazie ancora

[eclissi83]

Originariamente inviato da Nemo1985

Wow grazie, perfetto!
Ho dato un: cat access.log | grep -v "128.168.0.2" > cleanaccess.log

E funzionato alla perfezione, molte grazie ancora

di niente, e' bello aiutare gli altri

happy scripting

[Matrixbob]

Originariamente inviato da eclissi83

di niente, e' bello aiutare gli altri

happy scripting

Sempre + difficile!
... e per cancellare i primi N carateri di una riga del file di log?

[NB]
Non sono statici in quanto c'è una dataime ... forse usando le espressioni regolari?

[08/10/27@13:59:22.704+0200] P-004862 T-000000 2 WS QRYINFO Query Plan: utpaxbar.p line 299
[08/10/27@13:59:23.704+0200] P-004862 T-000000 1 WS -- (Procedure: 'utpaxbar.p' Line:301) 0 -9999
[08/10/27@13:57:22.704+0200] P-004862 T-000000 1 WS -- (Procedure: 'utpaxbar.p' Line:301) 1 -9998

[eclissi83]

Originariamente inviato da Matrixbob

Sempre + difficile!
... e per cancellare i primi N carateri di una riga del file di log?

[NB]
Non sono statici in quanto c'è una dataime ... forse usando le espressioni regolari?

puoi usare cut oppure awk... l'importante e' avere un elemento fisso su cui fare lo split...

[Matrixbob]

Multifiltro in cascata

grep "stringa1" file_origine.txt | grep "stringa2" | grep "stringa3" > file_risultato.txt

Filtro in OR

grep -E "(STRIGA1|stringa2)" file_origine.txt > file_risultato.txt

Filtro case insensitive

grep -i "stringa" file_origine.txt > file_risultato.txt

Mix

grep "stringa1" file_origine.txt | grep -E "(stringa2|stringa3)" > file_risultato.txt

Filtro in AND: con estressioni regolari alla buona

grep "^stringa1*stringa2" > file_risultato.txt

... e per cercare una stringa conenuta in un qualsiasi file da un determinato file system in poi?
So che si poteva fare utilizzando Find + Grep ... qualcuno sa comporre questo macro comando?

Ad esempio:

find /file/system/ -exec grep -l "stringa" {} \; > file_risultato.txt

, potrebbe funzionare?

[Nemo1985]

visto che è stato riuppato, ho sempre dato il comando:
cat access.log | grep -v "128.168.0.2" > cleanaccess.log
se volessi cancellare altre righe, mettiamo l'ip 127.0.0.1, come faccio?

cat access.log | grep -v "(128.168.0.2|127.0.0.1)" > cleanaccess.log

E' giusto?

Se ne voglio aggiungere un terzo? un altro | seguito dall'indirizzo?

No sbagliato, la sintassi giusta è: cat access.log | grep -v "192.168.0.2" | grep -v "127.0.0.1" | grep -v "192.168.0.3" > access2.log

[_YTS_]

Originariamente inviato da Nemo1985

Se ne voglio aggiungere un terzo? un altro | seguito dall'indirizzo?

No sbagliato, la sintassi giusta è: cat access.log | grep -v "192.168.0.2" | grep -v "127.0.0.1" | grep -v "192.168.0.3" > access2.log

puoi usare egrep.

cat access.log | egrep -v '192.168.0.2|127.0.0.1|192.168.0.3' > access2.log

by

[Nemo1985]

Avevo provato ma non funzionava, ora riprovo, grazie

Perfetto, funziona!

[Matrixbob]

... ma della mia:

find /file/system/ -exec grep -l "stringa" {} \; > file_risultato.txt 

, non mi dite niente?
Funziona?
Avete modo di provarla?