Il server database: dietro le quinte di hwupgrade - Pagina 5

Motosauro · 23-07-2007, 16:04

Quote:

Originariamente inviato da LinoX-79

"Forkiamo Vbullet... ci si appiccica sotto Adodb.. e lo fai funzionare su qualunque Db.... volendo.. sepoffà..."

..e mandiamo a quel paese linux..

Ragazzi la granularità di un lock non dipende dal DBMS.. e dovreste saperlo..

Eresia
Bestemmia
Al Rogo, Al Rogo!

Però effettivamente MySql qualche limite ce l'ha. Finché è gratis (oltre che open) ....

LinoX-79 · 23-07-2007, 16:34

Col "..e mandiamo a quel paese linux.."
Mi riferivo all'uso di ADO.. non a Postgre..

FreeMan · 23-07-2007, 16:37

Quote:

Originariamente inviato da Gunny35

Strano non riusciate a tenere un uptime del 100%, in alcune ore notturne il sito è in manutenzione. In architetture simili installo due load balancer in HA e due switch in parallelo.

c'è il backup

Quote:

grafico MRTG della percentuale di occupazione del processore del server database del forum

Il picco di carico osservabile attorno alle 3.30 di mattina è legato all'operazione di backup automatizzata dei dati; il database effettua quello che viene indicato come un dump del database, creando un grosso archivio contenente tutti i dati del database. Questo backup viene quindi trasferito via lan ad un altro server, destinato a memorizzare tutti i backup dei dati dei vari server che compongono la struttura.

>bYeZ<

El Bombastico · 23-07-2007, 16:45

Me coioni!

LinoX-79 · 23-07-2007, 16:46

Ammetto la mia ignoranza in materia..

Non ne avevo mai sentito parlare in 20 anni di sviluppo software..
Vado a documentarmi..

23-07-2007, 16:56

Quote:

Originariamente inviato da W4rfoX

Forkiamo Vbullet... ci si appiccica sotto Adodb.. e lo fai funzionare su qualunque Db.... volendo.. sepoffà...

Personalmente "quel mattone" di Ado non mi ha mai fatto impazzire... anzi solitamente ho sempre cercato di evitare gli script PHP che utilizzassero Ado preferendo quelli con librerie di gestione del database semplici e lineari.

ulk · 23-07-2007, 17:08

Beh fa piacere vedere 2 quad xeon a reggere la baracca....

e i dual opteron retrocessi..

tony359 · 23-07-2007, 18:41

Ma le tragiche prestazioni notturne sono dovute ai backup del database? Non so recentemente, sono senza ADSL...

Ciao
A

FreeMan · 23-07-2007, 18:46

lo sforzo di leggere poco sopra

>bYeZ<

Sinclair63 · 23-07-2007, 19:05

Ottimo articolo, HWU davvero il fiore all'occhiello del WEB Italiano, grazie Paolo!!!

bos201 · 23-07-2007, 19:09

Infatti, come avete fatto per gestire tutta la rete????

s5otto · 23-07-2007, 19:10

Da un vecchio programmatore ....... complimenti!

Sono orgoglioso di essere iscritto a questo forum.

FabryHw · 23-07-2007, 19:44

PostgreSql in realtà non usa i lock a livello di record e come sistema di locking è ben superiore a Sql Server (MS), è molto più simile a Oracle.

PGS di default usa MVCC - Multi-Version Concurrency Control, che nella maggior parte della sistuazioni gli permette di essere considerato come sistema "no locking".
Questo vale in caso di letture multiple dello stesso record, nel caso di scrittura è ovvio un sistema di blocco (lock) sia necessario.

Sql Server 2000 è famoso per il suo problema dei lock e della lock escalation (basta una banale query, per bloccare una intera tabella, evitando l'accesso alla tabella a tutti gli altri, anche chi doveva solo leggere dei record, magari diversi da quelli che stiamo leggendo noi)
Gente che ha convertito applicazioni DB nate su altri DB Server su MS Sql Server senza tenere conto di come funziona il motore di MSSql, poi ha pianto quando ha visto le pessime prestazioni in multiutenza (accessi concorrenti).
Diciamo roba tipo, riuscire a tenere solo 200-300 utenti collegati con l'hw attualmente utilizzato da HWUpgrade.
Ovviamente disegnando l'applicazione tenendo conto di certe cose, cambia tutto (ossia Sql Server non è lento per default, anzi).

Sql Server 2005 (e fra 6/8 ci dovrebbe essere anche il nuovo Sql Server 2008) migliora molto le cose, grazie all'introduzione della SNAPSHOT ISOLATION.
Con essa (che però è una modalità che di default è spenta) si implenta qualcosa più simile al metodo MVCC di PGS, anche se da quanto letto in giro MVCC è tutta un'altra cosa e molto più efficiente.

***Paolo Corsini*** · 23-07-2007, 19:48

Quote:

Originariamente inviato da bos201

Infatti, come avete fatto per gestire tutta la rete????

Mi sfugge il senso della domanda, puoi essere più preciso?

afterburner · 23-07-2007, 19:51

Bene bene bene .. bel giocattolino .. e bella descrizione delle soluzioni scelte.

Mi piace il sistema dischi: un sistema di coppie in mirror spalmate in stripe con dischi da 15K dovrebbe andare come una scheggia.
Se a qualcuno interessa e' spiegato decentemente su wikipedia: http://it.wikipedia.org/wiki/RAID
Ho un dubbio sull'affermazione dei 3 dischi in failure. Mi sembra ottimistica. Se scoppiano contemporaneamente 2 dischi che si mirrorano tra loro, allora salta il raid 0 e bisogna andare di restore da backup .. comunque, forse sono io pessimista, ma per un sistemista, "Murphy era ottimista".

Ho delle perplessita' sulla scelta dei processori del sistema. Non ho mai avuto a che fare con Xeon quad core pero' a livello di dual core gli Xeon sono dei brocchi rispetto agli Opteron (almeno per quanto riguarda i server e il tipo di servizi che gestisco). Io avrei preso un sistema con 4 opteron dual core .. oppure, aspettando ancora qualche mese, 2 opteron quad core.

Pr|ckly · 23-07-2007, 19:56

Quote:

Originariamente inviato da Pr|ckly

Bell'articolo.
Di primo impatto ho trovato esagerato il cluster NLB a SEI nodi per il server web, evidentemente il carico di lavoro in termini di richieste è davvero imponente.

Mi quoto.
Mi è tornato in mente che tutto il dominio MS è gestito da 8 server nlb, con tutto il rispetto, come fa questo a richiederne SEI?

C'è qualche spiegazione tecnica in merito o avete solamente voluto stare "larghi" ed evitare rischi?

***Paolo Corsini*** · 23-07-2007, 19:58

Quote:

Originariamente inviato da afterburner

Bene bene bene .. bel giocattolino .. e bella descrizione delle soluzioni scelte.

Mi piace il sistema dischi: un sistema di coppie in mirror spalmate in stripe con dischi da 15K dovrebbe andare come una scheggia.
Se a qualcuno interessa e' spiegato decentemente su wikipedia: http://it.wikipedia.org/wiki/RAID
Ho un dubbio sull'affermazione dei 3 dischi in failure. Mi sembra ottimistica. Se scoppiano contemporaneamente 2 dischi che si mirrorano tra loro, allora salta il raid 0 e bisogna andare di restore da backup .. comunque, forse sono io pessimista, ma per un sistemista, "Murphy era ottimista".

Se hai 3 catene Raid 1 in stripe tra di loro, si può verificare un caso nel quale un disco di ciascuna delle 3 catene Raid 1 si rompe: di conseguenza ogni catena Raid 1 rimane integra, e lo stripe funziona. Ovviamente è un caso limite, ma possibile.

Quote:

Originariamente inviato da afterburner

Ho delle perplessita' sulla scelta dei processori del sistema. Non ho mai avuto a che fare con Xeon quad core pero' a livello di dual core gli Xeon sono dei brocchi rispetto agli Opteron (almeno per quanto riguarda i server e il tipo di servizi che gestisco). Io avrei preso un sistema con 4 opteron dual core .. oppure, aspettando ancora qualche mese, 2 opteron quad core.

I nuovi Xeon basati su architettura Core 2 sono mediamente più performanti delle soluzioni Opteron; hanno consumi più elevati per via delle memorie FB Dimm ma questo nel nostro caso è stato al momento della scelta un elemento considerato secondario.

Opteron 4 core: come ho scritto in precedenza sicuramente useremo soluzioni Barcelona in futuro (abbiamo 10 server in cluster basati su cpu Opteron dual core al momento attuale), ma non potevamo - volevamo attendere Ottobre per questo upgrade. Opteron 4 Socket: belle soluzioni, ma molto costose ed è difficile trovare sistemi non barebone con queste configurazioni a costi interessanti. Dell, ad esempio, ha una soluzione Quad Socket Opteron ma è in Rack 4 unità.

***Paolo Corsini*** · 23-07-2007, 20:00

Quote:

Originariamente inviato da Pr|ckly

Mi quoto.
Mi è tornato in mente che tutto il dominio MS è gestito da 8 server nlb, con tutto il rispetto, come fa questo a richiederne SEI?

C'è qualche spiegazione tecnica in merito o avete solamente voluto stare "larghi" ed evitare rischi?

Dubito che MS giri con 8 server web, onestamente: se hai link leggo volentieri.
Sul cluster abbiamo, per ogni server (sono pesati di fatto uguali tra di loro) una percentuale di occupazione media nei momento di maggior traffico di circa il 75%, come del resto si vede chiaramente dal grafico di MRTG di uno di questi server che è messo in ultima pagina dell'articolo. Comunque non stiamo "larghi", anche perchè i server costano e lasciarli inutilizzati non ha senso: siamo da quel versante correttamente dimensionati, con un certo margine di carico in più in presenza di picchi anomali di traffico.

FabryHw · 23-07-2007, 20:07

In realtà dai documenti di Sql 2005, MS dichiara che la loro Snapshot Isolation non è che un altro nome per MVCC che a sua volta è conosciuto anche sotto il nome di Row Level Versioning.

Quindi potrebbero essere identici come bontà. Solo che in alcuni threads su vari forum (ma non so quanto fossero attendibili) avevo letto post di gente che criticava Snapshot Isolation di Sql 2005 dicendo che non era all'altezza delle implementazioni di MVCC presenti in Oracle o PGS.

Magari erano di parte, non ho approfondito.

Ciao

PS
MVCC è presente, anche se magari non implementata sempre nello stesso modo, in vari DB Server quali Oracle, PostgreSql, MySql se si usa InnoDB (e forse anche il nuovo motore Falcon), ...ecc
E dal documento di MS si potrebbe anche dire che MVCC è presente anche in Sql Server 2005 (o superiore) se si attiva la modalità Snapshot Isolation

ayrtonoc · 23-07-2007, 20:13

Ma... portare tutto sotto ESX razionalizzando il numero di macchine ed aumentando flessiblità e facilità di amministrazione??

23-07-2007, 18:46	#89
FreeMan Senior Member Iscritto dal: Jul 1999 Città: Black Mesa Messaggi: 72348	lo sforzo di leggere poco sopra >bYeZ< __________________ REGOLAMENTO & update1/update2 \| IO C'ERO \| Realme X3 SZ 12/256 - History \| GTi is BACK "Non sorridete.......gli spari sopra.....sono per VOI!"

23-07-2007, 19:05	#90
Sinclair63 Senior Member Iscritto dal: Nov 2003 Città: Sorrento (NA) Messaggi: 9508	Ottimo articolo, HWU davvero il fiore all'occhiello del WEB Italiano, grazie Paolo!!! __________________ Concluso ottimi affari con: Simoncino, Devil!, Dive76, Lucadue, luciferme(2), ilcalmo, Rhadamanthis, Guns81(2), oldfield, DARIO-GT(3), remok, asdasdasdasd, kjing, smanet(2), bollit, sdedo71, aje85, overthetop, piripikkio, vash79(2) voodoo13, russo30, nick-86, gwwmas(4) Holy_knight, MM, bebeto, miki66, jemofrà, vasquali, AquilaDelNord, ilaria81, giorgio156c, DonaldDuck, valerio86, Raven, copacabanas, spike69, potoah, shokobuku e molti altri...(credo almeno un 300)

23-07-2007, 19:10	#92
s5otto Senior Member Iscritto dal: Feb 2002 Città: Torino Messaggi: 10108	Che spettacolo!! di articolo. Da un vecchio programmatore ....... complimenti! Sono orgoglioso di essere iscritto a questo forum. __________________ Il mondo è bello!! perchè è "avariato" con tante "avarianti"!!!

23-07-2007, 16:34	#82
LinoX-79 Member Iscritto dal: Aug 2005 Città: Roma Messaggi: 54	Col "..e mandiamo a quel paese linux.." Mi riferivo all'uso di ADO.. non a Postgre..

23-07-2007, 16:45	#84
El Bombastico Member Iscritto dal: Jun 2007 Messaggi: 236	Me coioni!

23-07-2007, 16:46	#85
LinoX-79 Member Iscritto dal: Aug 2005 Città: Roma Messaggi: 54	Ammetto la mia ignoranza in materia.. Non ne avevo mai sentito parlare in 20 anni di sviluppo software.. Vado a documentarmi..

23-07-2007, 17:08	#87
ulk Senior Member Iscritto dal: Sep 2000 Città: WOLF 389 VULCANO ** Ho scelto di vivere per sempre............................ per ora ci sono riuscito. Messaggi: 8413	Beh fa piacere vedere 2 quad xeon a reggere la baracca.... e i dual opteron retrocessi..

23-07-2007, 18:41	#88
tony359 Senior Member Iscritto dal: Dec 2005 Messaggi: 384	Ma le tragiche prestazioni notturne sono dovute ai backup del database? Non so recentemente, sono senza ADSL... Ciao A

23-07-2007, 19:09	#91
bos201 Senior Member Iscritto dal: Feb 2005 Messaggi: 314	Infatti, come avete fatto per gestire tutta la rete????

23-07-2007, 19:44	#93
FabryHw Bannato Iscritto dal: Apr 2006 Messaggi: 5857	PostgreSql in realtà non usa i lock a livello di record e come sistema di locking è ben superiore a Sql Server (MS), è molto più simile a Oracle. PGS di default usa MVCC - Multi-Version Concurrency Control, che nella maggior parte della sistuazioni gli permette di essere considerato come sistema "no locking". Questo vale in caso di letture multiple dello stesso record, nel caso di scrittura è ovvio un sistema di blocco (lock) sia necessario. Sql Server 2000 è famoso per il suo problema dei lock e della lock escalation (basta una banale query, per bloccare una intera tabella, evitando l'accesso alla tabella a tutti gli altri, anche chi doveva solo leggere dei record, magari diversi da quelli che stiamo leggendo noi) Gente che ha convertito applicazioni DB nate su altri DB Server su MS Sql Server senza tenere conto di come funziona il motore di MSSql, poi ha pianto quando ha visto le pessime prestazioni in multiutenza (accessi concorrenti). Diciamo roba tipo, riuscire a tenere solo 200-300 utenti collegati con l'hw attualmente utilizzato da HWUpgrade. Ovviamente disegnando l'applicazione tenendo conto di certe cose, cambia tutto (ossia Sql Server non è lento per default, anzi). Sql Server 2005 (e fra 6/8 ci dovrebbe essere anche il nuovo Sql Server 2008) migliora molto le cose, grazie all'introduzione della SNAPSHOT ISOLATION. Con essa (che però è una modalità che di default è spenta) si implenta qualcosa più simile al metodo MVCC di PGS, anche se da quanto letto in giro MVCC è tutta un'altra cosa e molto più efficiente.

23-07-2007, 19:51	#95
afterburner Senior Member Iscritto dal: Apr 2003 Messaggi: 678	Bene bene bene .. bel giocattolino .. e bella descrizione delle soluzioni scelte. Mi piace il sistema dischi: un sistema di coppie in mirror spalmate in stripe con dischi da 15K dovrebbe andare come una scheggia. Se a qualcuno interessa e' spiegato decentemente su wikipedia: http://it.wikipedia.org/wiki/RAID Ho un dubbio sull'affermazione dei 3 dischi in failure. Mi sembra ottimistica. Se scoppiano contemporaneamente 2 dischi che si mirrorano tra loro, allora salta il raid 0 e bisogna andare di restore da backup .. comunque, forse sono io pessimista, ma per un sistemista, "Murphy era ottimista". Ho delle perplessita' sulla scelta dei processori del sistema. Non ho mai avuto a che fare con Xeon quad core pero' a livello di dual core gli Xeon sono dei brocchi rispetto agli Opteron (almeno per quanto riguarda i server e il tipo di servizi che gestisco). Io avrei preso un sistema con 4 opteron dual core .. oppure, aspettando ancora qualche mese, 2 opteron quad core.

23-07-2007, 20:07	#99
FabryHw Bannato Iscritto dal: Apr 2006 Messaggi: 5857	In realtà dai documenti di Sql 2005, MS dichiara che la loro Snapshot Isolation non è che un altro nome per MVCC che a sua volta è conosciuto anche sotto il nome di Row Level Versioning. Quindi potrebbero essere identici come bontà. Solo che in alcuni threads su vari forum (ma non so quanto fossero attendibili) avevo letto post di gente che criticava Snapshot Isolation di Sql 2005 dicendo che non era all'altezza delle implementazioni di MVCC presenti in Oracle o PGS. Magari erano di parte, non ho approfondito. Ciao PS MVCC è presente, anche se magari non implementata sempre nello stesso modo, in vari DB Server quali Oracle, PostgreSql, MySql se si usa InnoDB (e forse anche il nuovo motore Falcon), ...ecc E dal documento di MS si potrebbe anche dire che MVCC è presente anche in Sql Server 2005 (o superiore) se si attiva la modalità Snapshot Isolation

23-07-2007, 20:13	#100
ayrtonoc Member Iscritto dal: Jun 2006 Messaggi: 140	Ma... portare tutto sotto ESX razionalizzando il numero di macchine ed aumentando flessiblità e facilità di amministrazione??

Strumenti
Mostra una versione stampabile Invia questa pagina per email