OVHcloud, datacenter in fiamme a Strasburgo: centinaia di siti e servizi offline

[boboviz]

Originariamente inviato da Marko_001

@jepessen
basta avere un sistema antincendio -funzionante- ad halon
con un bombolaio esterno e dei sensori a doppia tecnologia
sopra e sotto il controsoffitto/pavimento flottante

Da clienti BEN più piccoli di OVH, noi usiamo bombole di gas inerte...
Mai acqua.

[ATX12V]

Alcune foto di questa notte.

Fonte

[Saturn]

Originariamente inviato da boboviz

E' da stamattina che sono al telefono a cercare di calmare clienti....

Idem con patate (fritte).

[boboviz]

Originariamente inviato da Saturn

Idem con patate (fritte).

Adesso sto mandando direttamente le foto dell'incendio.

[ATX12V]

32 data center in 19 paesi e non hanno ridondanza.

[igiolo]

Originariamente inviato da GabryJ84

Questo sì che è possibile. Se gli edifici sono molto vicini sono i pompieri stessi a chiedere shutdown della corrente in tutta la zona, per evitare che l'acqua, percolando o con uno spruzzo leggermente fuori bersaglio, possa avere conseguenze su di loro.

Oltre all'antincendio, però mi faccio qualche domanda anche sulla compartimentazione interna degli edifici. E' abbastanza raro che un server prenda fuoco da solo, di solito quello che va in surriscaldo è la sala batterie o la sala UPS...nessuna tagliafuoco tra la sala server e il resto?

capisco certo
al di là del fatto che dovevano avere cmq alimentazioni separate (non è la prima volta che OVH va giù malamente), e magari potevi dividere a settori.

alla fine tagli il campus?
altro sito ridondato, tempo mezz'ora e tutti online
suvvia, confermo che AWS e co sono su un altro livello

[igiolo]

Originariamente inviato da ATX12V

Alcune foto di questa notte.

ORCATROTA
pensa il sistemista che è responsabile...da mettersi a piangere

[ercolino]

Originariamente inviato da holding eurant

Buongiorno, puoi gentilmente dirmi come fai a vedere su quale server sei posizionato?

Dal manager OVH puoi vedere l'ubicazione del datacenter e anche il numero della room rack

[igiolo]

per la cronaca
https://www.pmi.it/tecnologia/prodot...-successo.html
10 anni fa
la "piccola" Aruba
ha cmq gestito un problema analogo molto meglio

[igiolo]

Originariamente inviato da ercolino

Dal manager OVH puoi vedere l'ubicazione del datacenter e anche il numero della room rack

è molto concorrenziale rispetto ad altri hosting?
mi ricordo che effettivamente aveva ottimi prezzi

[ercolino]

Vedremo cosa non ha funzionato, Octave é sempre stato preciso e limpido nello spegare le cose.

Visto l'entitá del problema, sicuramente qualcosa di grosso non ha funzionato.

Vedremo quando ritorneremo online, speriame bene.

Oggi proprio na giornata.....

[ercolino]

Originariamente inviato da igiolo

è molto concorrenziale rispetto ad altri hosting?
mi ricordo che effettivamente aveva ottimi prezzi

Si direi di Si.

[Biscuo]

@Ercolino
Ma sei passato sotto ad una scala o ti è passato davanti un gatto nero?

Speriamo che le cose si sistemino al più presto.

[ercolino]

Originariamente inviato da igiolo

per la cronaca
https://www.pmi.it/tecnologia/prodot...-successo.html
10 anni fa
la "piccola" Aruba
ha cmq gestito un problema analogo molto meglio

Un po' diversa la situazione.

A Strasburgo i server sono dentro dei Container..

Vedremo che cosa é successo esattamente.

Anche Sky ebbe un grosso incendio un paio di anni fa e ci mise quasi 1 mese a ripristinare tutto

[ercolino]

Originariamente inviato da Biscuo

@Ercolino
Ma sei passato sotto ad una scala o ti è passato davanti un gatto nero?

Speriamo che le cose si sistemino al più presto.

Abbiamo messo un comunicato sul portale.


Che due... oggi

[igiolo]

Originariamente inviato da ercolino

Un po' diversa la situazione.

A Strasburgo i server sono dentro dei Container..

Vedremo che cosa é successo esattamente.

Anche Sky ebbe un grosso incendio un paio di anni fa e ci mise quasi 1 mese a ripristinare tutto

in effetti la storia dei container è curiosa

[ATX12V]

Originariamente inviato da igiolo

per la cronaca
https://www.pmi.it/tecnologia/prodot...-successo.html
10 anni fa
la "piccola" Aruba
ha cmq gestito un problema analogo molto meglio

Non è un problema analogo, quello di Aruba è stato un principio di incendio, non un incendio che ha distrutto una intera struttura. E non hanno subito nessuna perdita di dati.

«Stamane alle h. 04:30, un corto circuito avvenuto all’interno degli armadi batterie a servizio dei sistemi UPS della Server Farm aretina di Aruba ha causato un principio di incendio: è immediatamente entrato in funzione il sistema di rilevamento incendi che in sequenza spegne il condizionamento e attiva il sistema di estinzione.
Poiché il fumo sprigionato dalla combustione della plastica delle batterie ha invaso completamente i locali della struttura, il sistema ha interpretato la persistenza di fumo come una prosecuzione dell’incendio e ha tolto automaticamente l’energia elettrica.
Confermiamo che nessun danno è stato arrecato ai server e agli storage che ospitano i contenuti dei nostri clienti e alle persone presenti in azienda. Non si è verificata alcuna perdita di dati.

[ercolino]

Update 1pm
Plan for the next 1-2 weeks:
1) rebuilding 20KV for SBG3
2) rebuilding 240V in SBG1/SBG4
3) verifying DWDM/routers/switchs in the network room A (SBG1). checking the fibers Paris/Frankfurt
4) rebuilding the network room B (in SBG5). checking fibers Paris/Frankfurt

[GabryJ84]

Originariamente inviato da igiolo

capisco certo
al di là del fatto che dovevano avere cmq alimentazioni separate (non è la prima volta che OVH va giù malamente), e magari potevi dividere a settori.

Di nuovo. Se i VVF ritengono che la cosa sia da fare, possono anche chiamare l'ENEL e far tirare giù tutta la cabina di zona.
Dipende dall'incendio e dalle linee che passano sopra, sotto o vicino all'area dell'incendio.
Se i VVF ti danno l'ordine di tirare giù tutto, tu tiri giù tutto...non è che gli dici "sa...devo tenere in piedi i server"

In questo caso credo ci fosse il rischio che il fuoco interessasse TUTTE le strutture (e infatti ha bruciato 4 stanze su 12 del SBG1 oltre all'interezza di SBG2).
Dato che i VVF han cercato di raffreddare anche le strutture di 3 e 4 per impedirgli di andare in fiamme per irraggiamento (di nuovo, cosa successa con SBG1), hanno precauzionalmente chiesto la disalimentazione totale in modo che l'acqua spruzzata su 3 ed eventualmente su 4 non causasse short-circuits o injuries al personale di soccorso.

Io conosco dei VVF e mi è stato detto da più parti che nel momento dell'emergenza, l'unico scopo è quello di spegnere e assicurarsi che le vite umane vengano protette.
In teoria potrebbero anche decidere di abbattere completamente una parte della struttura per evitare che possa fungere da propagante.
E tu che fai, gli dici, quella no, lì ho i dati?

I danni che i VVF fanno nello svolgimento delle loro mansioni sono devastanti, perchè lo scopo è solo quello di risolvere l'emergenza nel modo migliore possibile per l'emergenza stessa, non per chi la sta subendo.

A Faenza quando ha preso fuoco un magazzino che conteneva prodotti di ogni genere, per impedire al fuoco di espandersi, hanno abbattuto decine di pareti perimetrali.

Non era un datacenter, ok, ma era far notare che se i VVF richiedono una determinata azione, sei obbligato ad eseguire.

In questo caso, avrebbe dovuto essere responsabilità di OVH avere "altro" da far partire, in caso uno dei loro siti abbia problemi (di qualsiasi genere).

[alexdal]

ercolino ho letto il messaggio di twitter ma che significa?
hanno tutti i backup o no?

proprio qualche giorno fa pensavo di digital forum che ha sempre conservato tutti i messaggi da sempre..... spero sia cosi'