Syslog server

[efewfew]

Ciao ragazzi, vorrei realizzare un syslog server su debian oppure centos, ho notato che esistono diverse soluzioni commerciali anche per linux; voi conoscete qualcosa free che abbia la possibilità in qualche modo di visualizzare e filtrare tutti i log raccolti magari tramite una interfaccia web? perchè quelli che ho visto fino ad adesso zippano lo storico in sottocartelle a partire da /var/log/nome-directory a più livelli in base dalla data e all'ora ostacolando la ricerca di eventuali informazioni...

[Gimli[2BV!2B]]

1. Prendete una distribuzione di vostro gradimento, nel mio caso una freschissima Debian Sid.
2. Installate syslog-ng ed il driver che gli serve per scrivere in MySQL: libdbd-mysql.
   • In caso di kernel >= 2.6.38 occorre pelare un bug modificando il file init (ho preferito fare la modifica in quel file in modo tale che vada sovrascritto al prossimo aggiornamento che *deve* risolvere il problema):

     [...]
     
     syslogng_start() {
         log_daemon_msg "Starting system logging" "$NAME"
         create_xconsole
         [ -f "$PIDFILE" ] && echo ' seems to be running' && return 0
         start-stop-daemon --start --quiet --exec "$SYSLOGNG" \
                           --pidfile "$PIDFILE" -- -p "$PIDFILE"  $SYSLOGNG_OPTS --no-caps
         RET="$?"
         log_end_msg $RET
         return $RET
     }
     
     [...]

3. Installate il server MySQL e configuratelo.
4. Aprite la console MySQL:

   mysql -uroot -p

   • Create il database syslog:

     CREATE DATABASE `syslog` DEFAULT CHARACTER SET utf8 COLLATE utf8_unicode_ci;

   • Create la tabella logs (syslog-ng la crea anche in automatico ma non ha le colonne ben dimensionate):

     CREATE TABLE IF NOT EXISTS `logs` (
       `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
       `host` varchar(128) COLLATE utf8_unicode_ci DEFAULT NULL,
       `facility` varchar(10) COLLATE utf8_unicode_ci DEFAULT NULL,
       `priority` varchar(10) COLLATE utf8_unicode_ci DEFAULT NULL,
       `level` varchar(10) COLLATE utf8_unicode_ci DEFAULT NULL,
       `tag` varchar(10) COLLATE utf8_unicode_ci DEFAULT NULL,
       `datetime` datetime DEFAULT NULL,
       `program` varchar(128) COLLATE utf8_unicode_ci DEFAULT NULL,
       `msg` text COLLATE utf8_unicode_ci,
       `seqnum` int(10) unsigned NOT NULL DEFAULT '0',
       PRIMARY KEY (`id`),
       KEY `logs_host_idx` (`host`),
       KEY `logs_facility_idx` (`facility`),
       KEY `logs_priority_idx` (`priority`),
       KEY `logs_datetime_idx` (`datetime`),
       KEY `logs_program_idx` (`program`)
     ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;

   • Create un utente MySQL per syslog-ng (cambiate la password syslogwriter-password, son stato un po' abbondante coi diritti):

     GRANT INSERT, SELECT, UPDATE, ALTER, INDEX, CREATE ON `syslog`.* TO 'syslogwriter'@'localhost' IDENTIFIED BY 'syslogwriter-password';

   • Sciaquate i privilegi dell'utente:

     FLUSH PRIVILEGES ;

5. Modificate il file /etc/syslog-ng/syslog-ng.conf:
   • Se si vuol loggare pure dalla rete:

     # First, set some global options.
     options { long_hostnames(off); flush_lines(0); use_dns(yes); use_fqdn(no);
         owner("root"); group("adm"); perm(0640); stats_freq(0);
         bad_hostname("^gconfd$");
     };

   • Aggiungere MySQL alle Destinations (allineare utente e password di MySQL):

     # MySQL
     #
     destination d_mysql {
             sql(type(mysql)
             host("localhost") username("syslogwriter") password("syslogwriter-password")
             database("syslog")
             table("logs")
             columns("host", "facility", "priority", "level", "tag", "datetime", "program", "msg", "seqnum")
             values("$HOST_FROM", "$FACILITY", "$PRIORITY", "$LEVEL", "$TAG", "$YEAR-$MONTH-$DAY $HOUR:$MIN:$SEC", "$PROGRAM", "$MSG", "$SEQNUM")
             indexes("host", "facility", "priority", "datetime", "program"));
     };

   • Duplicare tutti i log in MySQL, in fondo, nei Log Path:

     # All messages to MySQL too!
     #
     log { source(s_src); destination(d_mysql); };

6. Riavviare syslog-ng:

   /etc/init.d/syslog-ng restart

7. Accompagnare con un buon bicchiere di lambrusco se dovesse funzionare al primo colpo, con abbondanti imprecazioni in caso di problemi.

Avere i log in un server MySQL permette di manipolarli, filtrarli un po' come si vuole.
Come accennato è possibile archiviare log provenienti da altre macchine in rete.
Tabelle, indici, colonne, database, motore database, tutto è personalizzabile.
Esistono varie interfacce web precotte che permettono di analizzare questi log archiviati in MySQL.

Dopo una non troppo approfondita ricerca quella che mi ha attratto di più è stata LogZilla, la cui installazione automatizza quanto scritto sopra, la cui licenza è gratuita se ad utilizzo domestico, la cui interfaccia è gradevole.
Non mi son messo lì ad installarlo perché 'sta cosa della licenza mi infastidisce, ma dalla demo mi è sembrata mediamente utilizzabile.

[efewfew]

grazie della risposta, era quello che cercavo! io dovrei proprio fare auditing dei server e degli apparati di una rete aziendale, non sò se posso usare LogZilla...
avevo visto anch'io syslog-ng però mi era sembrato di capire che solo con la versione a pagamento si poteva madare i log ad un db, invece da quello che hai scritto si riesce anche con la open source edition. se uso debian (la preferisco, apt è troppo comodo rispetto alla concorrenza) vedo se riesco ad adattare la procedura per sfruttare postgre che viene di default con debian

[Gimli[2BV!2B]]

Giusto oggi è arrivato in Sid syslog-ng 3.3.1, rendendo inutile & controproducente la modifica del file init descritta al punto 2.

Tra l'altro in questa versione è stata anche aggiunta la sempre più diffusa pratica di caricare i file di configurazione da una cartella conf.d: /etc/syslog-ng/conf.d/

Ho quindi preferito sfruttare la novità creando un file specifico per la configurazione della copia dei log in MySQL: /etc/syslog-ng/conf.d/99sql.conf

# MySQL
#
destination d_mysql {
	sql(type(mysql)
	host("localhost") username("syslogwriter") password("kwankey")
	database("syslog")
	table("logs")
	columns("host", "facility", "priority", "level", "tag", "datetime", "program", "msg", "seqnum")
	values("$HOST_FROM", "$FACILITY", "$PRIORITY", "$LEVEL", "$TAG", "$YEAR-$MONTH-$DAY $HOUR:$MIN:$SEC", "$PROGRAM", "$MSG", "$SEQNUM")
	indexes("host", "facility", "priority", "datetime", "program"));
};

# All messages to MySQL too!
#
log { source(s_src); destination(d_mysql); };