Il server database: dietro le quinte di hwupgrade

[afterburner]

Originariamente inviato da Paolo Corsini

Se hai 3 catene Raid 1 in stripe tra di loro, si può verificare un caso nel quale un disco di ciascuna delle 3 catene Raid 1 si rompe: di conseguenza ogni catena Raid 1 rimane integra, e lo stripe funziona. Ovviamente è un caso limite, ma possibile.

RAID 0
|
/-----------------------------\
| | |
RAID 1 RAID 1 RAID 1
/------\ /------\ /------\
| | | | | |
73GB 73GB 73GB 73GB 73GB 73GB

1 2 3 4 5 6

Se ho capito bene la vostra struttura dischi dovrebbe essere cosi' (spero non me ne abbiano del copiaincolla quelli di wikipedia) .. comunque viene male e spero si capisca.
Quello che dici tu e' vero: se si rompono i dischi 1-3-5 oppure 1-3-6 oppure 1-4-5 o 1-4-6 ecc. tutto continua a funzionare.
Il caso che dicevo io e' se si rompe la coppia 1-2 oppure 3-4 oppure 5-6.

I nuovi Xeon basati su architettura Core 2 sono mediamente più performanti delle soluzioni Opteron; hanno consumi più elevati per via delle memorie FB Dimm ma questo nel nostro caso è stato al momento della scelta un elemento considerato secondario.

Opteron 4 core: come ho scritto in precedenza sicuramente useremo soluzioni Barcelona in futuro (abbiamo 10 server in cluster basati su cpu Opteron dual core al momento attuale), ma non potevamo - volevamo attendere Ottobre per questo upgrade. Opteron 4 Socket: belle soluzioni, ma molto costose ed è difficile trovare sistemi non barebone con queste configurazioni a costi interessanti. Dell, ad esempio, ha una soluzione Quad Socket Opteron ma è in Rack 4 unità.

Ho quotidianamente a che fare con degli HP DL585. Effettivamente sono 4U .. allo spazio non ci faccio molto caso.
Curiosita': avete preso in considerazione anche un'eventuale passaggio a blade server? L'avete scartato a priori o e' stata una scelta dettata da altre esigenze? Che io sappia sempre piu' ced stanno passando verso questo tipo di soluzioni
http://h18004.www1.hp.com/products/s...85c/index.html

Ciao

[Gunny35]

Per Freeman.
Ci volevi tu a spiegarmelo
Il punto debole per l'architettura è proprio che il database è gestito da una macchina sola che deve andare offline per fare manutenzione.
Con MySQL cluster, senza andare in cose troppo costose si possono distribuire le letture su diversi server, le scritture avvengono su un server principale che poi si sincronizza con gli altri. Il dump diventa meno necessario, ma se proprio si vuole è possibile farlo da uno dei db server secondari senza fermare il sito.

[l3nko]

perdonatemi il piccolo OT
se ho 8 indirizzi pubblici, quanti server http posso mettere? solo 8 o posso averne di piu se utilizzassi un router(col nat/pat) o un gateway?
grazie

ps:anch'io ho un serverino...p3 1000

[Rubberick]

hu? non afferro la domanda... ^__^

se parli di siti quanti ne vuoi basta usare le direttive virtual server di apache o altri demoni http

aruba per dirne una usa server con svariate migliaia di domini per macchina e quella macchina risulta all'esterno con un solo ip =P

non ti dico il delirio in termini di record ptr, ne escono a valanga xD

[Rubberick]

ah no scusa ho capito che intendevi, di nuovo quanti ne vuoi, in realta' ti serve un solo indirizzo esterno per il server da load balancer, quello a round ti fa servire dai vari server web connessi tra loro in lan al load balancer

[l3nko]

grazie rubberick, capito correggimi se sbaglio,in questo caso però ogni server e uguale a tutti gli altri, cioè non potrei avere un solo server destinato a gestire solo topolino.it e un altro server che gestisce solo paperina.it, ma dovrei avere i due server che entrambi hanno sia topolino che paperina giusto?

[afterburner]

Originariamente inviato da l3nko

grazie rubberick, capito correggimi se sbaglio,in questo caso però ogni server e uguale a tutti gli altri, cioè non potrei avere un solo server destinato a gestire solo topolino.it e un altro server che gestisce solo paperina.it, ma dovrei avere i due server che entrambi hanno sia topolino che paperina giusto?

Mi inserisco nel discorso .. e mi scuso per l'ot: se tu hai un IP pubblico, supponiamo 151.1.244.2 (quello di www.hwupgrade.it) tu puoi registrare tutti i domini che vuoi associandoli allo stesso ip. Puoi registrare www.paperino.it, www.topolino.it e www.pluto.it facendo si' che vengano risolti tutti nell'IP 151.1.244.2
Dopo hai due soluzioni: o hai i tre domini virtuali sulla stessa macchina che risponde all'ip 151.1.244.2 oppure hai tre macchine distinte (una per dominio) nella dmz interna e all'ip 151.1.244.2 risponde un load balancer che redireziona a seconda del dominio.

In sostanza mi sa che ho ripetuto quanto gia' detto da Rubberick ...

[l3nko]

ok ok,grazie ad entrambi
in conclusione il load balancer può reinderizzare non solo in base al carico di lavoro, ma anche in base ad altre regole fra le quali quella del dominio e quindi serve al mio scopo grazie mille ancora

[sirus]

Bellissimo articolo, molto interessante.
Sarebbe altrettanto interessante avere qualche informazione aggiuntiva sul lato software, nulla di approfondito, solo qualche informazione.

[M4R1|<]

Veramente un Bell'Articolo, COMPLIMENTI!!!

è bello poi vedere che Paolo Corsini ad ogni domanda che gli è stata posta, ha risposto; in molti altri forum non succede nulla di questo, ed è anche per questo motivo che HwU resta il miglio sito/forum che abbia mai visto!
Ancora Complimenti!

[Paolo Corsini]

Originariamente inviato da Gunny35

Con MySQL cluster, senza andare in cose troppo costose si possono distribuire le letture su diversi server, le scritture avvengono su un server principale che poi si sincronizza con gli altri. Il dump diventa meno necessario, ma se proprio si vuole è possibile farlo da uno dei db server secondari senza fermare il sito.

E' stato spiegato che MySQL cluster non è una soluzione per noi percorribile, per via delle dimensioni del database: i requisiti hardware richiesti per garantire una risposta ragionevole sono assolutamente fuori luogo soprattutto in termini di quantitativo di memoria di sistema.
Abbiamo valutato MySQL cluster, se la memoria non m'inganna, ormai oltre 2 anni fa: conosco altri gestori di siti con forum vbulletin paragonabili al nostro e nessuno ha preso questa soluzione. L'essere compatibile solo con MySQL è del resto, almeno a nostro avviso, la principale limitazione di vbulletin.

[caurusapulus]

@Paolo Corsini
Domanda così tanto per curiosità: presso quale farm avete fisicamete i vostri server?
Comunque bell'articolo, anche se parecchio tecnico (in questo caso wikipedia aiuta )

[Naveg]

@caurusapulus

I server si trovano nella webfarm di IT.net, c'è anche scritto nell'articolo.

[Paolo Corsini]

Originariamente inviato da caurusapulus

@Paolo Corsini
Domanda così tanto per curiosità: presso quale farm avete fisicamete i vostri server?
Comunque bell'articolo, anche se parecchio tecnico (in questo caso wikipedia aiuta )

E' riportato anche qui:
http://www.hwupgrade.it/sito/legale/
siamo in ITnet

[dennyv]

Ohlè! Che bel articolo! Molto interessante... mi mancavano proprio queste tipologie di articoli degni del vostro nome!

Che dire... una seconda parte sul software?? (Debian configurata ad hoc per il vostro server?)

OT ma non troppo per esperienza personale e per benchmark visti in rete avete proprio ragione quando dite che MySQL non scala molto bene (voi scrivete "linearmente") più di due processori. Postgres è tutta un'altra storia, soprattutto quando i processori cominciano ad essere 4 o 8. vBullettin supporta Postgres? Con 11 Giga di database non sarebbe più gestibile Postgres, anche se magari un po' più lento? Magari sfruttando il lock delle row invece che delle tabelle?

Ciao a tutti e complimenti alla redazione per il nuovo "pargolo"

[sleeping]

Complimenti sia per l'articolo molto completo che per i server. Sono proprio delle bestie E' impressionante la mole di lavoro e di dati che stanno dietro ad un "semplice" forum...
Sarei davvero curioso di vedere quelli di siti superutilizzati come youtube con delle enormi richieste di banda visto che si tratta di video e non di testo

[caurusapulus]

Originariamente inviato da Naveg

@caurusapulus

I server si trovano nella webfarm di IT.net, c'è anche scritto nell'articolo.

Oggi è stata na lunga giornata

[edivad82]

Originariamente inviato da ayrtonoc

Ma... portare tutto sotto ESX razionalizzando il numero di macchine ed aumentando flessiblità e facilità di amministrazione??

virtualizzare un cluster mi pare un po' una caxxata....virtualizzare una macchina che richiede risorse dedicate, pure...se non per Vmotion...ma di fatto non razionalizzi, dedichi due macchine per far girare quello...oltre che vmware infrastructure è memory limited sul fronte dell'host server

[edivad82]

Originariamente inviato da Gunny35

Per Freeman.
Ci volevi tu a spiegarmelo
Il punto debole per l'architettura è proprio che il database è gestito da una macchina sola che deve andare offline per fare manutenzione.
Con MySQL cluster, senza andare in cose troppo costose si possono distribuire le letture su diversi server, le scritture avvengono su un server principale che poi si sincronizza con gli altri. Il dump diventa meno necessario, ma se proprio si vuole è possibile farlo da uno dei db server secondari senza fermare il sito.

già detto...mysql cluster è un in-memory db...fatti i conti per 11 gb di database e vedi che requisiti hw ti saltano fuori...al contrario di mysql che è filesystem db...ed ovviamente si può mettere in master/slave

[edivad82]

Originariamente inviato da l3nko

perdonatemi il piccolo OT
se ho 8 indirizzi pubblici, quanti server http posso mettere? solo 8 o posso averne di piu se utilizzassi un router(col nat/pat) o un gateway?
grazie

ps:anch'io ho un serverino...p3 1000

puoi mettercene fino a che non esaurisci le porte degli 8 indirizzi ip, ovviamente non sono tutti accessibili sulla porta 80 di default...dipende che ci devi fare, se devi fare un server classica maniera, 8, altrimenti un po' di più...ed anzi, con del reverse proxying con virtual domain, ne gestisci anche di più su singola porta...