logserver(s)

[Dane]

ciao a tutti!

Ho più lan da monitorare. Buona parte di queste sono collegate in vpn con me.
Devo mettere in piedi un sistema di log.
Pensavo di mettere un logserver per sito (quindi diciamo uno per lan) nel quale vengono dirottati tutti i log.
Vorrei che eventuali situazioni anomale (dischi che se ne stanno andando, troppi login falliti, servizi o server down, ecc) vengano inoltrate ad un logserver "centrale", presso di me, che consulterei in tempo reale.

In prevalenza ho server windows (2k8), ma anche qualcosa in bsd e linux. Se per gli ultimi due non c'è alcun problema, per il primo esiste qualcosa (anche a pagamento) di fruibile che mi possa dirottare in maniera pulita i log (quindi dall'eventlog più semplice ai log di exchange, rdp, ecc)?

Vedo che per la maggiore vanno rsyslog e syslog-ng, che da quel che ho capito potrebbero andarmi bene entrambi. Voi come vi trovate e per quel che ne sapete quale dei due dovrebbe essere più adatto a quello che devo fare?

Ultimo: se volessi separare il più possibile i dati (quindi i log) dalla presentazione di essi (quindi dall'interfaccia web, piuttosto che da un logmonitor) immagino che la soluzione più pulita sia mettere i log su database, giusto?
In tal caso aumentano di molto i requisiti hardware, o con un po' di tuning (partizionamento delle tabelle, indicizzazione, ecc) ne vale la pena?

Ringrazio chi vorrà intervenire!

[Gimli[2BV!2B]]

Io apprezzo Syslog-ng, però le mie esperienze con questo software sono solo in sistemi GNU/Linux.

Recente discussione sull'archiviazione dei log in un server MySQL.

I requisiti hardware necessari per archiviare tutto in un server MySQL non dovrebbero essere esagerati: naturalmente più sarà grande il flusso di dati più ampia sarà la banda di rete necessaria, più veloce l'aumento di dimensioni del database.
La necessità di capacità elaborativa per la sola archiviazione non dovrebbe essere esagerata, ma in caso di ricerche occorre avere garanzia che il server sia in grado di rispondere in tempi ragionevoli senza perdere nel frattempo dei messaggi in arrivo.
Syslog-ng ha un meccanismo di buffering su disco dei messaggi in arrivo che il server MySQL rifiuta perché occupato, però ho letto più volte che è disponibile solo nella versione Premium.

Vecchia discussione con le impostazioni di logging del mio "server" pulce.

Un esempio di database che ha accumulato un paio di mesi di log della mia macchina personale casalinga (tirata su il giorno che ho scritto la prima risposta):

mysql> select count(*) from logs ;
+----------+
| count(*) |
+----------+
|    85935 |
+----------+
1 row in set (0.00 sec)

mysql> select * from logs limit 1;
+----+---------+----------+----------+-------+------+---------------------+---------+-----------------------------------------------------------------+--------+
| id | host    | facility | priority | level | tag  | datetime            | program | msg                                                             | seqnum |
+----+---------+----------+----------+-------+------+---------------------+---------+-----------------------------------------------------------------+--------+
|  1 | kwankey | authpriv | info     | info  | 56   | 2011-11-04 22:09:01 | CRON    | pam_unix(cron:session): session opened for user root by (uid=0) |      0 |
+----+---------+----------+----------+-------+------+---------------------+---------+-----------------------------------------------------------------+--------+
1 row in set (0.02 sec)

mysql> select * from logs limit 1 offset 85934;
+-------+---------+----------+----------+-------+------+---------------------+---------+------+--------+
| id    | host    | facility | priority | level | tag  | datetime            | program | msg  | seqnum |
+-------+---------+----------+----------+-------+------+---------------------+---------+------+--------+
| 85935 | kwankey | daemon   | err      | err   | 1b   | 2012-01-07 01:25:12 | mysqld  |      |     16 |
+-------+---------+----------+----------+-------+------+---------------------+---------+------+--------+
1 row in set (0.26 sec)


root@kwankey:~# ls -lah /var/lib/mysql/syslog/
totale 14M
[...]
-rw-rw---- 1 mysql mysql 8,7K dic 12 23:44 logs.frm
-rw-rw---- 1 mysql mysql 9,9M gen  7 01:25 logs.MYD
-rw-rw---- 1 mysql mysql 3,6M gen  7 01:25 logs.MYI
[...]

[nightborn]

Originariamente inviato da Dane

In prevalenza ho server windows (2k8), ma anche qualcosa in bsd e linux. Se per gli ultimi due non c'è alcun problema, per il primo esiste qualcosa (anche a pagamento) di fruibile che mi possa dirottare in maniera pulita i log (quindi dall'eventlog più semplice ai log di exchange, rdp, ecc)?

Hai già valutato nagios ?