Interventi di manutenzione tra fine Giugno e inizio Luglio

[Paolo Corsini]

Apro questa discussione per spiegare alcuni dei down del forum che ci sono stati negli ultimi giorni. Vado per ordine sparso e spero di risultare comunque chiaro a tutti:

- dalla fine della scorsa settimana abbiamo in redazione il nuovo server database master, che sostituirà l'attuale in produzione (per i dettagli in fondo a questo post)

- negli ultimi 4 giorni abbiamo testato il nuovo server, ottenendo tempi di elaborazione molto più alti del previsto. Dopo aver provato di tutto tra kernel e componenti vari, oggi pomeriggio abbiamo scoperto che la verisone 4.0.13 di mysql è circa 5 volte più lenta, con il nostro benchmark che utilizziamo per i test sui server (è un test fatto su misura), rispetto a quella 4.0.11 che utilizziamo abitualmente. La cosa più buffa è che la 4.0.13 viene rilasciata come release stable al momento per essere stabile confermo, ma ha seri problemi prestazionali.

- ci sono ancora alcuni problemi legati al kernel che dovremmo risolvere domani mattina, ma per il momento possiamo usare il server in redazione per i nostri test interni senza limitazioni.

- negli ultimi giorni Davide ha testato la nuova revision di phpbb, la 2.05; questo pomeriggio l'ha messa in produzione ma abbiamo anche dovuto cancellare il searchindex, che pertanto è da ricostruire. Domani mattina faremo altri test in redazione con il searchindex; in teoria avrei dovuto finirli io questa sera ma alle 20.30 ho alzato bandiera bianca e me ne sono andato a casa.

- in questi giorni ho testato sempre in locale e non in produzione sia un porting per vbulletin 2.3, sia la versione beta di vbulletin 3. Si tratta di test interni e non è detto che si decida di passare a quella piattaforma, ma allo stesso tempo phpbb non è per noi oro colato e se troviamo una soluzione migliore ben contenti di utilizzarla.

Negli ultimi 2 mesi e mezzo, da quando abbiamo effettuato gli ultimi lavori di aggiornamento del database del forum, il volume di messaggi è aumentato di circa 700.000; al momento vi sono quasi 1,7 milioni di messaggi e poco meno di 57.000 utenti registrati nel forum. Parallelamente è aumentato anche il n° di utenti collegati, che rispetto alla scorsa primavera è cresciuto in misura tangibile. Ovviamente questi elementi portano ancor più elevato stress sul database server ed è anche per questo motivo che da alcune settimane, prima dell'arrivo del nuovo server dbase in redazione, stiamo lavorando per pianificare un intervento massiccio e studiare un eventuale cambio di piattaforma software.

Per chi fosse curioso, il nuovo dbase master è un sistema Dual Athlon MP 2.800+ (Core barton con 512 Kbytes di cache L2), con una catena SCSI per sistema operativo e file di swap (Raid 5, presumibilmente, dato che stiamo valutando quale alternativa anche un raid 1, con dischi SCSI 36 Gbytes 10.000 rpm) e una seconda catena SCSI per i soli dati (Raid 10, con 4 dischi SCSI 18 Gbytes 10.000 rpm + un quinto disco di hot spare). I controller sono Adaptec 2110S a 64bit, mentre per la memoria di sistema dobbiamo ancora finalizzare una scelta sul quantitativo ma saranno come minimo 2 Gbytes di memoria DDR ECC registered. Il case è un modello Supermicro a 4 unità, con cassettini SCSI SCA e doppio backplane.

Dal lato web non abbiamo problemi di carico al momento; c'è in previsione comunque di aggiungere un nuovo server web nel cluster, basato su due processori Athlon MP 2.600+, più che altro in previsione di un ulteriore aumento del carico sui server web a partire dall'autunno. Non penso che prepareremo quel server prima di aver messo in produzione il nuovo server dbase master del forum.

Per la giornata di domani abbiamo pianificato alcuni test combinati, sia con phpbb che con vbulletin 2.30; prima di vedere cosa fare del motore di ricerca preferisco completare quelle analisi, in modo da avere un quadro più completo e scegliere se restare con phpbb 2.05 oppure se passare a Vbulletin 2.30. Molto dipende anche dai risultati che otterrò nei test con vbulletin 3, in previsione di un passaggio a quella piattaforma.

[Yagami]

A leggere le specifiche del nuovo dbase master mi è venuto un colpo! E dire che per noi utenti è un servizio completamente gratuito. Un grazie per il lavoro che svolgi quotidianamente ci sta tutto...un grazie grande così
Hw si supera ancora

[Giatar]

Originally posted by "Yagami"

A leggere le specifiche del nuovo dbase master mi è venuto un colpo! E dire che per noi utenti è un servizio completamente gratuito. Un grazie per il lavoro che svolgi quotidianamente ci sta tutto...un grazie grande così
Hw si supera ancora

beh certo che oltre il semplice graziecredo che non faccia mai male, a noi utenti, buttare qualche click sui link pubblicitari, giusto per ringraziare in maniera + convincente

[Raul]

Sarà possibile con un eventuale nuovo motore fare la ricerca nel titolo dei messaggi come ai vecchi tempi ?

Ciao e buon lavoro.

[sslazio]

grazie del grande lavoro che state svolgendo, questo forum è ormai un punto di riferimento per tutti gli appassionati di informatica in Italia.


x Paolo: quando rottami il dual Barton fai un fischio

[naso]

incredibile...!!
nn credevo che ci fosse una macchina così dietro.. pensavo (nella mia ignoranza) che ci fosse un pc molto più semplice..
e come qualcuno ha detto... E' TUTTO GRATIS!!!!

COMPLIMENTI E GRAZIE A TUTTI QUELLI CHE PARTECIPANO ATTIVAMENTE AL FORUM!!!
GRAZIE X L'OTTIMO SERVIZIO OFFERTOMI!


PS

io sono sempre disposto a versare anche una piccola quota annua x aiutarvi in qualche modo a coprire le spese e a migliorare il servizo!

arips..
x la quota intendo 5 euro o simili che ogni iscritto può decidere se pagare.. magari avendo qualche servizio speciale in più.. o anche senza...
diciamo a fondo perso...

[sslazio]

Originally posted by "naso"


incredibile...!!
nn credevo che ci fosse una macchina così dietro.. pensavo (nella mia ignoranza) che ci fosse un pc molto più semplice..
e come qualcuno ha detto... E' TUTTO GRATIS!!!!

COMPLIMENTI E GRAZIE A TUTTI QUELLI CHE PARTECIPANO ATTIVAMENTE AL FORUM!!!
GRAZIE X L'OTTIMO SERVIZIO OFFERTOMI!


PS

io sono sempre disposto a versare anche una piccola quota annua x aiutarvi in qualche modo a coprire le spese e a migliorare il servizo!

arips..
x la quota intendo 5 euro o simili che ogni iscritto può decidere se pagare.. magari avendo qualche servizio speciale in più.. o anche senza...
diciamo a fondo perso...

mandami un PVT così ti do l'indirizzo del mio c/c

[porny]

Originally posted by "Paolo Corsini"

Apro questa discussione per spiegare alcuni dei down del forum che ci sono stati negli ultimi giorni. Vado per ordine sparso e spero di risultare comunque chiaro a tutti:

- dalla fine della scorsa settimana abbiamo in redazione il nuovo server database master, che sostituirà l'attuale in produzione (per i dettagli in fondo a questo post)

- negli ultimi 4 giorni abbiamo testato il nuovo server, ottenendo tempi di elaborazione molto più alti del previsto. Dopo aver provato di tutto tra kernel e componenti vari, oggi pomeriggio abbiamo scoperto che la verisone 4.0.13 di mysql è circa 5 volte più lenta, con il nostro benchmark che utilizziamo per i test sui server (è un test fatto su misura), rispetto a quella 4.0.11 che utilizziamo abitualmente. La cosa più buffa è che la 4.0.13 viene rilasciata come release stable al momento per essere stabile confermo, ma ha seri problemi prestazionali.

- ci sono ancora alcuni problemi legati al kernel che dovremmo risolvere domani mattina, ma per il momento possiamo usare il server in redazione per i nostri test interni senza limitazioni.

- negli ultimi giorni Davide ha testato la nuova revision di phpbb, la 2.05; questo pomeriggio l'ha messa in produzione ma abbiamo anche dovuto cancellare il searchindex, che pertanto è da ricostruire. Domani mattina faremo altri test in redazione con il searchindex; in teoria avrei dovuto finirli io questa sera ma alle 20.30 ho alzato bandiera bianca e me ne sono andato a casa.

- in questi giorni ho testato sempre in locale e non in produzione sia un porting per vbulletin 2.3, sia la versione beta di vbulletin 3. Si tratta di test interni e non è detto che si decida di passare a quella piattaforma, ma allo stesso tempo phpbb non è per noi oro colato e se troviamo una soluzione migliore ben contenti di utilizzarla.

Negli ultimi 2 mesi e mezzo, da quando abbiamo effettuato gli ultimi lavori di aggiornamento del database del forum, il volume di messaggi è aumentato di circa 700.000; al momento vi sono quasi 1,7 milioni di messaggi e poco meno di 57.000 utenti registrati nel forum. Parallelamente è aumentato anche il n° di utenti collegati, che rispetto alla scorsa primavera è cresciuto in misura tangibile. Ovviamente questi elementi portano ancor più elevato stress sul database server ed è anche per questo motivo che da alcune settimane, prima dell'arrivo del nuovo server dbase in redazione, stiamo lavorando per pianificare un intervento massiccio e studiare un eventuale cambio di piattaforma software.

Per chi fosse curioso, il nuovo dbase master è un sistema Dual Athlon MP 2.800+ (Core barton con 512 Kbytes di cache L2), con una catena SCSI per sistema operativo e file di swap (Raid 5, presumibilmente, dato che stiamo valutando quale alternativa anche un raid 1, con dischi SCSI 36 Gbytes 10.000 rpm) e una seconda catena SCSI per i soli dati (Raid 10, con 4 dischi SCSI 18 Gbytes 10.000 rpm + un quinto disco di hot spare). I controller sono Adaptec 2110S a 64bit, mentre per la memoria di sistema dobbiamo ancora finalizzare una scelta sul quantitativo ma saranno come minimo 2 Gbytes di memoria DDR ECC registered. Il case è un modello Supermicro a 4 unità, con cassettini SCSI SCA e doppio backplane.

Dal lato web non abbiamo problemi di carico al momento; c'è in previsione comunque di aggiungere un nuovo server web nel cluster, basato su due processori Athlon MP 2.600+, più che altro in previsione di un ulteriore aumento del carico sui server web a partire dall'autunno. Non penso che prepareremo quel server prima di aver messo in produzione il nuovo server dbase master del forum.

Per la giornata di domani abbiamo pianificato alcuni test combinati, sia con phpbb che con vbulletin 2.30; prima di vedere cosa fare del motore di ricerca preferisco completare quelle analisi, in modo da avere un quadro più completo e scegliere se restare con phpbb 2.05 oppure se passare a Vbulletin 2.30. Molto dipende anche dai risultati che otterrò nei test con vbulletin 3, in previsione di un passaggio a quella piattaforma.

mi rendo disponibile a fornirvi la traduzione del forum vBulletin nel momento in cui decidiate tale cambiamento.

[Paolo Corsini]

Originally posted by "porny"



mi rendo disponibile a fornirvi la traduzione del forum vBulletin nel momento in cui decidiate tale cambiamento.

Grazie sinceramente, ma ce l'abbiamo già.

[porny]

Originally posted by "Paolo Corsini"


Grazie sinceramente, ma ce l'abbiamo già.

Sto iniziando a cercre una corda per potermi attaccare al condizoinatore a muro che sta alle mie spalle. Ho passato 14 ore di fila (mangiando 2 barrette Peso Forma ai cereali per pranzo) a tradurre tutti i template a mano quando lo style era reperibile facilmente minacciando l'inculumità di un reddatore di HWU.

La frase è ovvia... così è la vita!

[TechnoPhil]

Originally posted by "Paolo Corsini"


Grazie sinceramente, ma ce l'abbiamo già.

Minchia raga è impressionante!!!!!!!!!!! sia il nuovo server che la quantità di utenti e messaggi che ci circolano dentro!!!!!!!!
Non avrei mai creduto!!

Qualcuno sa come si fa a diventare moderatore????

[porny]

Originally posted by "TechnoPhil"



Minchia raga è impressionante!!!!!!!!!!! sia il nuovo server che la quantità di utenti e messaggi che ci circolano dentro!!!!!!!!
Non avrei mai creduto!!

Qualcuno sa come si fa a diventare moderatore????

io nulla ho da dire contro la scelta del server ma la mia logica tende sempre ad incanalare il lavoro su più macchine piuttosto che centralizzare il tutto su un'unica macchina ma potente. Credo molto nella ridondanza che può essere raggiunta solamente con una scalabilità portata all'estremo. Ammetto che non ho mai lavorato sotto Linux, forte del mio MCSE mi sono sempre dedicato a Sistemi Windows Based, ma suppongo che anche per il pinguino valga la stessa cosa. Al posto di un'unica macchina molto potente (ma nemmeno troppo visto il carico di lavoro) avrei optato per due server dedicati al database. A mio avviso la soluzione migliore sarebbero 2 server per le pagine del forum (.php tanto per intenderci) e 3 DBserver che gestiscano solo ed unicamente MySql.

ps.: non sto delirando ma sono amministrat ore lato server a web application di www.donboscoborgo.it

[edivad82]

Originally posted by "TechnoPhil"



Qualcuno sa come si fa a diventare moderatore????

comincia a fare un bonifico

[TechnoPhil]

Originally posted by "edivad82"



comincia a fare un bonifico

Immaginavo........ma quanto????? [/b]

[Athlon]

Originally posted by "porny"


Al posto di un'unica macchina molto potente (ma nemmeno troppo visto il carico di lavoro) avrei optato per due server dedicati al database. A mio avviso la soluzione migliore sarebbero 2 server per le pagine del forum (.php tanto per intenderci) e 3 DBserver che gestiscano solo ed unicamente MySql.

Il problema dei DB distribuiti e' la replica degli UPDATE tra le varie macchine.

Se hai piu' DB che fanno girare il forum quando viene inserito un nuovo messaggio occorre che questo aggiornamento sia SUBITO disponibile a tutte le macchine.
Se fai i conti ti accorgi subito che il carico per singola macchina non diminuisce ma rimane identico al carico totale del cluster.
Quello che riesci a suddividere e' SOLO il carico di LETTURA , troppo poco per giustificare la complessita' di un DB distribuito.

Per quanto riguarda le macchine Web invece non c'e' alcun problema a fare piu' macchine in quanto l'aggiornamento delle pagine PHP non avviene frequentemente.

L'unica possibilita' per distribuire il carico su piu' DB e' quella di suddividere l'applicazione in piu' parti (ad esempio dedicando un singolo DB ad ogni singola sezione del forum) questo pero' comporta il sacrificio di una ricerca globale e una grossa complicazione a livello di gestione.

[FreeMan]

Originally posted by "TechnoPhil"

Qualcuno sa come si fa a diventare moderatore????

..miiiiii.. ..come la fai facile...

>bYeZ<

[Paolo Corsini]

Originally posted by "porny"


Al posto di un'unica macchina molto potente (ma nemmeno troppo visto il carico di lavoro) avrei optato per due server dedicati al database. A mio avviso la soluzione migliore sarebbero 2 server per le pagine del forum (.php tanto per intenderci) e 3 DBserver che gestiscano solo ed unicamente MySql.

Non puoi gestire, con MySQL 4, il load balancing tra server dbase; aspettiamo che esca la replica funzionante e sarebbe già qualcosa per proteggersi dai problemi di malfunzionamento dei server.
Dal lato web siamo in architettura in load balancing da molto tempo, infatti da quel lato scaliamo bene senz aparticolari problemi di struttura.

[FreeMan]

Originally posted by "Paolo Corsini"


Dal lato web siamo in architettura in load balancing da molto tempo,

http://www.hwupgrade.it/sito/storia/index3.html



>bYeZ<

[Yagami]

Io non ne so molto ma....se si utilizasse un dual Opteron (216) che riesce a gestire una maggio quatità di dati senza paginarli su disco, nn sarebbe meglio? Certo, con discussione monetario a parte

[Paolo Corsini]

Originally posted by "Yagami"

Io non ne so molto ma....se si utilizasse un dual Opteron (216) che riesce a gestire una maggio quatità di dati senza paginarli su disco, nn sarebbe meglio? Certo, con discussione monetario a parte

Dovresti comunque anche passare a S.O. e dbase a 64bit; la cosa è estremamente interessante, infatti appena riceveremo un server Opteron in redazione faremo anche quei test, ma c'è parecchio lavoro da fare per render etutto operativo.

Presumo che faremo questo tipo di migrazione verso la fine dell'anno, o inizio 2004.