Link alla notizia: https://edge9.hwupgrade.it/news/cloud/ovhcloud-datacenter-in-fiamme-a-strasburgo-centinaia-di-siti-e-servizi-offline_96140.html

I datacenter OVHcloud a Strasburgo sono andati a fuoco poco dopo la mezzanotte. Un incendio nell'unità SBG2 si è propagato alle altre unità - solo SBG4 non ha subito danni. Non è chiara l'origine delle fiamme né quando (e se) i servizi saranno ripristinati.

Click sul link per visualizzare la notizia.

Eh no ? Ahi voglia se lo sapevo ! :muro:

Aspettavo giusto di leggere la notizia anche qui !

Beh spiace leggere queste notizie, almeno non si e' fatto male nessuno. Se hanno gestito un piano di backup e disaster recovery degno di un data center allora dovrebbero avere tutti i dati backuppati anche in altri edifici proprio per evitare di perdere i dati a causa di catastrofi come questa. Ricordo a riguardo che a causa dell'attacco dell'11 settembre diverse aziende con sede nelle torri gemelle non sono fallite a causa dell'attacco, ma perche' avevano i backup immagazzinati all'interno delle torri stesse (credo ci fossero stanze apposite nei sotterranei), e quindi sono state incapaci di recuperare i dati.

Ah! Che ricordi quando andò a fuoco Aruba.

Strutture che dovrebbero avere sistemi antincendio all'avanguardia. Mi chiedo come sia possibile.

Beh spiace leggere queste notizie, almeno non si e' fatto male nessuno. Se hanno gestito un piano di backup e disaster recovery degno di un data center allora dovrebbero avere tutti i dati backuppati anche in altri edifici proprio per evitare di perdere i dati a causa di catastrofi come questa. Ricordo a riguardo che a causa dell'attacco dell'11 settembre diverse aziende con sede nelle torri gemelle non sono fallite a causa dell'attacco, ma perche' avevano i backup immagazzinati all'interno delle torri stesse (credo ci fossero stanze apposite nei sotterranei), e quindi sono state incapaci di recuperare i dati.

Un sistema di backup nella stessa struttura in cui c'è quello in produzione? :eek:
Ottima strategia. Single point of failure.

Strutture che dovrebbero avere sistemi antincendio all'avanguardia. Mi chiedo come sia possibile.

In effetti è la prima domanda che mi sono fatto pure io... nei Ced che ho visitato io per lavoro (e non sono strutture piccole) vi è sempre un sistema anti-incendio nelle varie sale...
Poi c'è da dire che tipicamente i sistemi di disaster recovery non sono mai una riproduzione fedele dell'originale (tipicamente la parte connettività è molto carente).

Link alla notizia: https://edge9.hwupgrade.it/news/cloud/ovh-datacenter-in-fiamme-a-strasburgo-centinaia-di-siti-e-servizi-offline_96140.html

I datacenter OVH a Strasburgo sono andati a fuoco poco dopo la mezzanotte. Un incendio nell'unità SBG2 si è propagato alle altre unità - solo SBG4 non ha subito danni. Non è chiara l'origine delle fiamme né quando (e se) i servizi saranno ripristinati.

Click sul link per visualizzare la notizia.


Giornata di ..... abbiamo li il nostro server dedicato di digital-forum.it.

Siamo in SBG4 che non dovrebbe aver subito danni

@jepessen
basta avere un sistema antincendio -funzionante- ad halon
con un bombolaio esterno e dei sensori a doppia tecnologia
sopra e sotto il controsoffitto/pavimento flottante
visto che l'acqua non è indicata ;-)
l'hanno le biblioteche universitarie storiche, sempre in crisi economica,
per un data center dovrebbe essere una spesa sostenibile.
per il caso delle torri, in effetti, se ben ricordo,
la copia non deve risiedere nello stesso stabile, proprio
per quel motivo, se crolla, o brucia a certe temperature per tot tempo,
una cassaforte, o armadio, ignifughi, potrebbe non bastare.

In effetti è la prima domanda che mi sono fatto pure io... nei Ced che ho visitato io per lavoro (e non sono strutture piccole) vi è sempre un sistema anti-incendio nelle varie sale...
Poi c'è da dire che tipicamente i sistemi di disaster recovery non sono mai una riproduzione fedele dell'originale (tipicamente la parte connettività è molto carente).

Probabilmente qualcosa non ha funzionato a dovere. Vedremo se a indagini concluse si saprà.

Giornata di ..... abbiamo li il nostro server dedicato di digital-forum.it.

Siamo in SBG4 che non dovrebbe aver subito danni

Vi è andata bene, magari domani tornate online.

Un sistema di backup nella stessa struttura in cui c'è quello in produzione? :eek:
Ottima strategia. Single point of failure.


Magari erano nell'altra torre, ma essendo crollate entrambe...

tantissimi anni fa più di venti, il ced era interno alla nostra azienda, era roba piccola, ma c'era un sistema antincendio assai notevole, si vedeva chiaramente quando entravi, poi fortunatamente mai usato !
OVH, non credo abbia problemi in questo senso.
Mai capito l'origine di questi incidenti, si dovrebbero usare materiali a norma e cavi non propaganti...

Magari erano nell'altra torre, ma essendo crollate entrambe...

Stesso discorso.
Il backup non deve essere nelle vicinanze.
Dove lavoro abbiamo il disaster recovery (quindi un po' più di un semplice backup) che dista almeno 30 km.
Si cerca di abbassare le probabilità di un evento avverso, non di azzerarle.
Al di là dell'attentato terroristico (che non puoi prevedere sempre), anche un banale terremoto.
Se metto produzione e backup nella stessa area... è facile che perda tutto in un simile caso.

Aggiornamenti:

https://twitter.com/olesovhcom

https://i.postimg.cc/TYtd28FN/ttt.png

Buongiorno, una domanda...come fate a capire su quale server siete?

Giornata di ..... abbiamo li il nostro server dedicato di digital-forum.it.

Siamo in SBG4 che non dovrebbe aver subito danni

Buongiorno, puoi gentilmente dirmi come fai a vedere su quale server sei posizionato?

primo provider in EU
terzo al mondo
o meglio dire terzo mondo
non è possibile che bruci come un fiammifero, e non è possibile che vada in shutdown tutto il campus
come non è possibile che non abbiano repliche ridondate geograficamente distribuite
che cazzari
capisco un Aruba (sforzandomi)
ma qui dimostra che azure, gcloud e AWS sono su un altro livello.

4 sale distrutte in SBG1.

https://twitter.com/olesovhcom

https://i.postimg.cc/x19jGvN7/tttt.png

non è possibile che vada in shutdown tutto il campus


Questo sì che è possibile. Se gli edifici sono molto vicini sono i pompieri stessi a chiedere shutdown della corrente in tutta la zona, per evitare che l'acqua, percolando o con uno spruzzo leggermente fuori bersaglio, possa avere conseguenze su di loro.

Tra l'altro se le foto ritraggono la situazione reale sembra quasi che le 4 stanze di SBG1 non siano state coinvolte dall'incendio vero e proprio, ma abbiano preso fuoco per irraggiamento da SBG2, quindi forse c'è anche un problema di spazi tra i 4 blocchi (cosa che ovviamente puoi risolvere soltanto spostandoti in un'area dove ci possa essere maggiore spazio tra un edificio e l'altro).

Oltre all'antincendio, però mi faccio qualche domanda anche sulla compartimentazione interna degli edifici. E' abbastanza raro che un server prenda fuoco da solo, di solito quello che va in surriscaldo è la sala batterie o la sala UPS...nessuna tagliafuoco tra la sala server e il resto?

Ah! Che ricordi quando andò a fuoco Aruba.

Se non sbaglio era successo dalle parti di Savona anche a Xoom.it, parecchi anni fa, e anche lì dati persi per sempre. E ad Aruba cmq mi pare fosse un principio di incendio nella sala UPS, non un "major fire" come questo, dove è andata su come una pira tutta la struttura.

non un "major fire" come questo, dove è andata su come una pira tutta la struttura.

E' questo che non è normale e assurdo. Manco fosse un capanno in mezzo alle campagne.

Eh no ? Ahi voglia se lo sapevo ! :muro:

Aspettavo giusto di leggere la notizia anche qui !
E' da stamattina che sono al telefono a cercare di calmare clienti....

@jepessen
basta avere un sistema antincendio -funzionante- ad halon
con un bombolaio esterno e dei sensori a doppia tecnologia
sopra e sotto il controsoffitto/pavimento flottante

Da clienti BEN più piccoli di OVH, noi usiamo bombole di gas inerte...
Mai acqua.

Alcune foto di questa notte.

Fonte (https://www.newslinet.com/media-incendio-a-data-center-ovh-di-strasburgo-4-aree-interessate-centinaia-di-siti-e-flussi-streaming-down-possibile-perdita-di-dati/)

https://i.postimg.cc/sxy6vg1k/OVH-1.jpg

https://i.postimg.cc/vH0qZMyK/OVH-2.jpg

E' da stamattina che sono al telefono a cercare di calmare clienti....

Idem con patate (fritte). :(

Idem con patate (fritte). :(

Adesso sto mandando direttamente le foto dell'incendio.

32 data center in 19 paesi e non hanno ridondanza.

Questo sì che è possibile. Se gli edifici sono molto vicini sono i pompieri stessi a chiedere shutdown della corrente in tutta la zona, per evitare che l'acqua, percolando o con uno spruzzo leggermente fuori bersaglio, possa avere conseguenze su di loro.

Oltre all'antincendio, però mi faccio qualche domanda anche sulla compartimentazione interna degli edifici. E' abbastanza raro che un server prenda fuoco da solo, di solito quello che va in surriscaldo è la sala batterie o la sala UPS...nessuna tagliafuoco tra la sala server e il resto?



capisco certo
al di là del fatto che dovevano avere cmq alimentazioni separate (non è la prima volta che OVH va giù malamente), e magari potevi dividere a settori.

alla fine tagli il campus?
altro sito ridondato, tempo mezz'ora e tutti online
suvvia, confermo che AWS e co sono su un altro livello

Alcune foto di questa notte.



ORCATROTA
pensa il sistemista che è responsabile...da mettersi a piangere

Buongiorno, puoi gentilmente dirmi come fai a vedere su quale server sei posizionato?


Dal manager OVH puoi vedere l'ubicazione del datacenter e anche il numero della room rack

per la cronaca
https://www.pmi.it/tecnologia/prodotti-e-servizi-ict/195824/aruba-a-fuoco-problema-risolto-ecco-cosa-successo.html
10 anni fa
la "piccola" Aruba
ha cmq gestito un problema analogo molto meglio

Dal manager OVH puoi vedere l'ubicazione del datacenter e anche il numero della room rack

è molto concorrenziale rispetto ad altri hosting?
mi ricordo che effettivamente aveva ottimi prezzi

Vedremo cosa non ha funzionato, Octave é sempre stato preciso e limpido nello spegare le cose.

Visto l'entitá del problema, sicuramente qualcosa di grosso non ha funzionato.

Vedremo quando ritorneremo online, speriame bene.

Oggi proprio na giornata.....

è molto concorrenziale rispetto ad altri hosting?
mi ricordo che effettivamente aveva ottimi prezzi

Si direi di Si.

@Ercolino
Ma sei passato sotto ad una scala o ti è passato davanti un gatto nero?

Speriamo che le cose si sistemino al più presto. ;)

per la cronaca
https://www.pmi.it/tecnologia/prodotti-e-servizi-ict/195824/aruba-a-fuoco-problema-risolto-ecco-cosa-successo.html
10 anni fa
la "piccola" Aruba
ha cmq gestito un problema analogo molto meglio

Un po' diversa la situazione.

A Strasburgo i server sono dentro dei Container..

Vedremo che cosa é successo esattamente.

Anche Sky ebbe un grosso incendio un paio di anni fa e ci mise quasi 1 mese a ripristinare tutto

@Ercolino
Ma sei passato sotto ad una scala o ti è passato davanti un gatto nero?

Speriamo che le cose si sistemino al più presto. ;)

Abbiamo messo un comunicato sul portale.


Che due... oggi

Un po' diversa la situazione.

A Strasburgo i server sono dentro dei Container..

Vedremo che cosa é successo esattamente.

Anche Sky ebbe un grosso incendio un paio di anni fa e ci mise quasi 1 mese a ripristinare tutto

in effetti la storia dei container è curiosa

per la cronaca
https://www.pmi.it/tecnologia/prodotti-e-servizi-ict/195824/aruba-a-fuoco-problema-risolto-ecco-cosa-successo.html
10 anni fa
la "piccola" Aruba
ha cmq gestito un problema analogo molto meglio

Non è un problema analogo, quello di Aruba è stato un principio di incendio, non un incendio che ha distrutto una intera struttura. E non hanno subito nessuna perdita di dati.

«Stamane alle h. 04:30, un corto circuito avvenuto all’interno degli armadi batterie a servizio dei sistemi UPS della Server Farm aretina di Aruba ha causato un principio di incendio: è immediatamente entrato in funzione il sistema di rilevamento incendi che in sequenza spegne il condizionamento e attiva il sistema di estinzione.
Poiché il fumo sprigionato dalla combustione della plastica delle batterie ha invaso completamente i locali della struttura, il sistema ha interpretato la persistenza di fumo come una prosecuzione dell’incendio e ha tolto automaticamente l’energia elettrica.
Confermiamo che nessun danno è stato arrecato ai server e agli storage che ospitano i contenuti dei nostri clienti e alle persone presenti in azienda. Non si è verificata alcuna perdita di dati.

Update 1pm
Plan for the next 1-2 weeks:
1) rebuilding 20KV for SBG3
2) rebuilding 240V in SBG1/SBG4
3) verifying DWDM/routers/switchs in the network room A (SBG1). checking the fibers Paris/Frankfurt
4) rebuilding the network room B (in SBG5). checking fibers Paris/Frankfurt

capisco certo
al di là del fatto che dovevano avere cmq alimentazioni separate (non è la prima volta che OVH va giù malamente), e magari potevi dividere a settori.

Di nuovo. Se i VVF ritengono che la cosa sia da fare, possono anche chiamare l'ENEL e far tirare giù tutta la cabina di zona.
Dipende dall'incendio e dalle linee che passano sopra, sotto o vicino all'area dell'incendio.
Se i VVF ti danno l'ordine di tirare giù tutto, tu tiri giù tutto...non è che gli dici "sa...devo tenere in piedi i server"

In questo caso credo ci fosse il rischio che il fuoco interessasse TUTTE le strutture (e infatti ha bruciato 4 stanze su 12 del SBG1 oltre all'interezza di SBG2).
Dato che i VVF han cercato di raffreddare anche le strutture di 3 e 4 per impedirgli di andare in fiamme per irraggiamento (di nuovo, cosa successa con SBG1), hanno precauzionalmente chiesto la disalimentazione totale in modo che l'acqua spruzzata su 3 ed eventualmente su 4 non causasse short-circuits o injuries al personale di soccorso.

Io conosco dei VVF e mi è stato detto da più parti che nel momento dell'emergenza, l'unico scopo è quello di spegnere e assicurarsi che le vite umane vengano protette.
In teoria potrebbero anche decidere di abbattere completamente una parte della struttura per evitare che possa fungere da propagante.
E tu che fai, gli dici, quella no, lì ho i dati?

I danni che i VVF fanno nello svolgimento delle loro mansioni sono devastanti, perchè lo scopo è solo quello di risolvere l'emergenza nel modo migliore possibile per l'emergenza stessa, non per chi la sta subendo.

A Faenza quando ha preso fuoco un magazzino che conteneva prodotti di ogni genere, per impedire al fuoco di espandersi, hanno abbattuto decine di pareti perimetrali.

Non era un datacenter, ok, ma era far notare che se i VVF richiedono una determinata azione, sei obbligato ad eseguire.

In questo caso, avrebbe dovuto essere responsabilità di OVH avere "altro" da far partire, in caso uno dei loro siti abbia problemi (di qualsiasi genere).

ercolino ho letto il messaggio di twitter ma che significa?
hanno tutti i backup o no?

proprio qualche giorno fa pensavo di digital forum che ha sempre conservato tutti i messaggi da sempre..... spero sia cosi'

ercolino ho letto il messaggio di twitter ma che significa?
hanno tutti i backup o no?

proprio qualche giorno fa pensavo di digital forum che ha sempre conservato tutti i messaggi da sempre..... spero sia cosi'

Ercolino ha scritto che il forum è su SBG4 che non ha subito danni. I server sono solo spenti, verranno riaccesi non appena possibile.

ercolino ho letto il messaggio di twitter ma che significa?
hanno tutti i backup o no?

proprio qualche giorno fa pensavo di digital forum che ha sempre conservato tutti i messaggi da sempre..... spero sia cosi'

Noi abbiamo un server totalmente dedicato solo per il forum, é ubicato in SBG4 che non dovrebbe aver avuto nessun impatto dall'incendio.


Dovrebbe... essere tutto ok

SBG2 distrutto, gli altri recuperabili.

Fonte (https://www.macg.co/ailleurs/2021/03/un-gros-incendie-detruit-une-partie-du-data-center-strasbourgeois-dovh-120127)

https://i.postimg.cc/9Q50v0Fh/mg-29782d57-w828-w1024.jpg

Non è un problema analogo, quello di Aruba è stato un principio di incendio, non un incendio che ha distrutto una intera struttura. E non hanno subito nessuna perdita di dati.

-cut-.[/SIZE][/I]


lo so
xkè con Aruba sono intervenuti i sistemi antincendio per tempo
questo mi stupisce, che ovh non abbia automatismi che funzionano (xkè li avranno sicuro)

madonna, pure io ho un sito su OVH ma è in piedi per fortuna...

Certo che fa strano che non siano intervenuti per tempo i sistemi antincendio: a meno che non sia entrato qualcuno con una molotov, con tutte quelle ridondanze (anche nella sicurezza) sembra un caso limite.

Altre foto dell'incendio:

Fonte (https://actu.fr/grand-est/strasbourg_67482/photos-strasbourg-le-spectaculaire-incendie-du-site-de-serveurs-ovh-en-images_40105800.html)

https://i.postimg.cc/PrC7cbSC/ewhjbj2xaaqbmg1-1.jpg

https://i.postimg.cc/KzsNrwSJ/ewhjeqqwqae-fr0.jpg

Forse sarebbe bastato un servizio di sorveglianza "serio" di ronda in tutti gli edifici per la notte.
Con il danno che avranno l'avrebbero pagato per 100 anni :D :D :D :D

primo provider in EU
terzo al mondo
o meglio dire terzo mondo
non è possibile che bruci come un fiammifero, e non è possibile che vada in shutdown tutto il campus
come non è possibile che non abbiano repliche ridondate geograficamente distribuite
che cazzari
capisco un Aruba (sforzandomi)
ma qui dimostra che azure, gcloud e AWS sono su un altro livello.

OVH 8° in Europa con una quota del 2% del mercato.

Fonte ANSA (https://www.ansa.it/sito/notizie/cronaca/2021/03/10/a-strasburgo-mega-incendio-in-unazienda-informatica_0ed7a267-ffd1-4d2d-b816-6e82668ff2d9.html)

ragazzi il dominio ovh del mio ufficio con due abbonamenti email è ovviamente offline; posto che per fortuna ho salvato tutto in locale, come faccio a verificare su quale settore del datacenter ho salvati i miei dati? così almeno capisco se è integro o meno. Grazie

Leggete il labiale per capire quello che sto ripetendo a ripetizione !
Da stamattina presto ! :mad:

https://media.tenor.com/images/46b7359192e355f18f657042dfec6179/tenor.gif

Ragazzi questo 2021 l'ho già bollato.

Sarà un altro anno di m....avverso ecco ! :O

Eh tra bsod e server down, hai di che passarti il tempo oggi !

ragazzi il dominio ovh del mio ufficio con due abbonamenti email è ovviamente offline; posto che per fortuna ho salvato tutto in locale, come faccio a verificare su quale settore del datacenter ho salvati i miei dati? così almeno capisco se è integro o meno. Grazie

Leggi qua:

Dal manager OVH puoi vedere l'ubicazione del datacenter e anche il numero della room rack

Eh tra bsod e server down, hai di che passarti il tempo oggi !

...eh ma io lo sapevo vent'anni fa ! Lo sapevo ! Dovevo aprire quel baretto in Jamaica altro che il settore informatico...:muro:

OVH 8° in Europa con una quota del 2% del mercato.

Fonte ANSA (https://www.ansa.it/sito/notizie/cronaca/2021/03/10/a-strasburgo-mega-incendio-in-unazienda-informatica_0ed7a267-ffd1-4d2d-b816-6e82668ff2d9.html)

mboh
leggevo il terzo mondiale e primo in eu
magari dipende di che stiamo parlando forse, hosting, vdi, ecc

Leggi qua:

lo avevo letto; non riesco a trovare la procedura per visualizzarlo all'interno del data manager :stordita:

Update 4pm
We plan to restart SBG1+SBG4+the network by Monday March,15 and SBG3 by Friday March,19.

In RBX+GRA we have the stock of new servers, pcc, pci ready to be delivered for all the impacted customers. Of course for free. We will add 10K servers in the next 3-4 weeks.

Quindi sostanzialmente entro 5 giorni torna su il 50% del sito e 10 giorni torna su tutto il 75% del sito.
Poi con la santa pazienza metteranno le mani su SBG2. Prevedo che le aziende di data recovery fattureranno miliardi...

Update 4pm
We plan to restart SBG1+SBG4+the network by Monday March,15 and SBG3 by Friday March,19.

In RBX+GRA we have the stock of new servers, pcc, pci ready to be delivered for all the impacted customers. Of course for free. We will add 10K servers in the next 3-4 weeks.

Quindi sostanzialmente entro 5 giorni torna su il 50% del sito e 10 giorni torna su tutto il 75% del sito.
Poi con la santa pazienza metteranno le mani su SBG2. Prevedo che le aziende di data recovery fattureranno miliardi...

Già, quindi mi sa che fino a lunedi niente. :rolleyes:

Update 4pm
We plan to restart SBG1+SBG4+the network by Monday March,15 and SBG3 by Friday March,19.

In RBX+GRA we have the stock of new servers, pcc, pci ready to be delivered for all the impacted customers. Of course for free. We will add 10K servers in the next 3-4 weeks.

Quindi sostanzialmente entro 5 giorni torna su il 50% del sito e 10 giorni torna su tutto il 75% del sito.
Poi con la santa pazienza metteranno le mani su SBG2. Prevedo che le aziende di data recovery fattureranno miliardi...

multiplayer.it è tornato online
con il backup di IERI
sempre su OVH
fa specie nel comunicato leggere
"with YOUR disaster recovery"
andiamo bene

Già, quindi mi sa che fino a lunedi niente. :rolleyes:

nooo, senza digital forum fino a lunedi ? disastro :(

OVH 8° in Europa con una quota del 2% del mercato.

Fonte ANSA (https://www.ansa.it/sito/notizie/cronaca/2021/03/10/a-strasburgo-mega-incendio-in-unazienda-informatica_0ed7a267-ffd1-4d2d-b816-6e82668ff2d9.html)

ecco dove l'avevo letto

https://www.bleepingcomputer.com/news/technology/ovh-data-center-burns-down-knocking-major-sites-offline/

lo avevo letto; non riesco a trovare la procedura per visualizzarlo all'interno del data manager :stordita:

Anche io vorrei capire dove spulciare...al momento non sono riuscita a trovare l'ubicazione.

Un disastro. Saranno in molti a lasciare OVH.

https://news.netcraft.com/archives/2021/03/10/ovh-fire.html

https://i.postimg.cc/G2CgQzLz/Schermata-2021-03-10-alle-18-14-45.png

@jepessen
basta avere un sistema antincendio -funzionante- ad halon
con un bombolaio esterno e dei sensori a doppia tecnologia
sopra e sotto il controsoffitto/pavimento flottante
visto che l'acqua non è indicata ;-)
l'hanno le biblioteche universitarie storiche, sempre in crisi economica,
per un data center dovrebbe essere una spesa sostenibile.
per il caso delle torri, in effetti, se ben ricordo,
la copia non deve risiedere nello stesso stabile, proprio
per quel motivo, se crolla, o brucia a certe temperature per tot tempo,
una cassaforte, o armadio, ignifughi, potrebbe non bastare.

e tu pensi che non avevano sofisticati sistemi antincendio? Purtroppo certe cose possono accadere, soprattutto quando c'é negligenza o superficialità nei controlli sicurezza e qualità, a volte é semplicemente sfiga.
Due anni fà ho visitato un datacenter equinix nel nord di Parigi, ci sono sistemi di sicurezza impressionanti per evitare questo genere di incidenti, deve essere successo qualcosa di imponderabile.
Comunque le grosse società i server li replicano su piu' siti con un piano di disaster/recovery proprio per garantire la continuità dei servizi in caso di perdita di un datacenter.

Anche io vorrei capire dove spulciare...al momento non sono riuscita a trovare l'ubicazione.

Se avete un server dedicato, trovate tutto accedendo al manager ovh alla voce server dedicato.

e tu pensi che non avevano sofisticati sistemi antincendio? Purtroppo certe cose possono accadere, soprattutto quando c'é negligenza o superficialità nei controlli sicurezza e qualità, a volte é semplicemente sfiga.
Due anni fà ho visitato un datacenter equinix nel nord di Parigi, ci sono sistemi di sicurezza impressionanti per evitare questo genere di incidenti, deve essere successo qualcosa di imponderabile.

Il problema è stato troppo grosso, sicuramente qualcosa di molto grave non ha funzionato, non è possibile che si sviluppi un incendi di queste proporzioni in un datacenter.

Strasburgo poi è un data center particolare, i server sono ubicati all'interno di cointainer navali , mi sembra che SBG5 che non è ancora pronto invece sia su struttura di cemento classica.

Era stato costruito anni fa in container, proprio per la facilità di costruzione, ma nei piani era previsto lo spostamento dei server nella nuova struttura in cemento e dismissione dei container.

L'aveva spiegato Octave un paio di anni fa quando ci fu un altro incidente sempre a Strasburgo sull'alimentazione elettrica e il problema dei gruppi elettrogeni che non erano partiti.

Beh dentro container navali non so quali sistemi di sicurezza sofisticati potessero mai avere. Ci vuole una struttura ad hoc progettata per evitare il propagarsi degli incendi e con le giuste distanze tra una struttura e un'altra. Prerogative che probabilmente sono venute a mancare e hanno amplificato l'incidente.

Beh dentro container navali non so quali sistemi di sicurezza sofisticati potessero mai avere. Ci vuole una struttura ad hoc progettata per evitare il propagarsi degli incendi e con le giuste distanze tra una struttura e un'altra. Prerogative che probabilmente sono venute a mancare e hanno amplificato l'incidente.

Vedremo poi il report incidente dettagliato di Octave, in genere è sempre limpido per queste cose

Tra l'altro OVH doveva anche essere quotata in borsa a Parigi nei prossimi mesi, una bella mazzata oltre che figura di......


3.6 milioni di siti web down non sono uno scherzo, considerando che li ci sono molti siti anche importanti

Questo il ticket da tenere d'occhio riguardo il data center di Strasburgo

http://travaux.ovh.net/?do=details&id=49484

Comunque solo SBG1 e SBG4 sono fatti con i container navali. SBG2 e SGB3 sono in cemento. Molto interessante questo articolo che riassume anche quanto detto da Ercolino sopra.

https://www.datacenterknowledge.com/uptime/ovh-disassemble-container-data-centers-after-epic-outage-europe

https://i.postimg.cc/d1dmVNXv/Schermata-2021-03-10-alle-19-01-35.png

Sul sito OVH riportano:
Every data center room is fitted with a fire detection and extinction system, as well as fire doors. OVHcloud complies with the APSAD R4 rule for the installation of mobile and portable fire extinguishers and has the N4 certificate of conformity for all our data centers.

Quindi ogni container dovrebbe avere la sua porta antincendio, sistemi di rilevamento fumi ed estintori portatili.
Mi sembra strana l'assenza di un sistema centralizzato, ma per dirlo occorre la copia del certificato e del progetto.

Vedremo il rapporto dei vigili del fuoco, da quello dipende se l'assicurazione caccia i soldi o meno...

Comunque solo SBG1 e SBG4 sono fatti con i container navali. SBG2 e SGB3 sono in cemento. Molto interessante questo articolo che riassume anche quanto detto da Ercolino sopra.

https://www.datacenterknowledge.com/uptime/ovh-disassemble-container-data-centers-after-epic-outage-europe

https://i.postimg.cc/d1dmVNXv/Schermata-2021-03-10-alle-19-01-35.png

Si esatto.

Fortunatamente SBG4 era distante dagli altri 3.

In ogni caso dobbiamo aspettare fino a quando riattivano SBG4

http://travaux.ovh.net/?do=details&id=49484

Sul sito OVH riportano:
Every data center room is fitted with a fire detection and extinction system, as well as fire doors. OVHcloud complies with the APSAD R4 rule for the installation of mobile and portable fire extinguishers and has the N4 certificate of conformity for all our data centers.

vedremo il rapporto dei vigili del fuoco.


Sono proprio curioso del report

Sono proprio curioso del report
Negli apparati elettrici/elettronici il calore e quindi il fuoco si sviluppa solo se viene fatta passare una corrente enorme su cavo relativamente sottile per tale carico, o se tale corrente, passa attraverso un contatto elettrico non perfetto, dove si sviluppa il cosidetto arco, che genera una grande quantità di calore.
E ci sono appositi sistemi per prevenirlo.
Inoltre i cavi, se del 2012, sono o dovrebbero essere, non propaganti l'incendio.
E non credo che ci siano tanti materiali facilmente infiammabili come combustibili, carta, legno all'interno dei data center.

Quindi il mistero si infittisce !

Sul sito OVH riportano:
Every data center room is fitted with a fire detection and extinction system, as well as fire doors. OVHcloud complies with the APSAD R4 rule for the installation of mobile and portable fire extinguishers and has the N4 certificate of conformity for all our data centers.

Quindi ogni container dovrebbe avere la sua porta antincendio, sistemi di rilevamento fumi ed estintori portatili.
Mi sembra strana l'assenza di un sistema centralizzato, ma per dirlo occorre la copia del certificato e del progetto.

Vedremo il rapporto dei vigili del fuoco, da quello dipende se l'assicurazione caccia i soldi o meno...

L'assicurazione al massimo paga i danni materiali, quelli d'immagine e i soldi persi dai clienti che si sono visti il loro sito di e-commerce andare offline col cavolo che li recuperi.

Dalle foto sembra fatto di lamiere e pannelli di plastica magari con degli isolanti tipo polistirolo che bruciano come il cubetto di paraffina; se fosse così, è facile che riscaldandosi il calore si propaga negli ambienti vicini e tutto brucia. Fosse invece di cemento avresti solo danni da fumo (e acqua) negli ambienti adiacenti.

L'assicurazione al massimo paga i danni materiali, quelli d'immagine e i soldi persi dai clienti che si sono visti il loro sito di e-commerce andare offline col cavolo che li recuperi.

Perderanno anche diversi clienti non colpiti ma che se ne andranno lo stesso verso altri provider. Chi si fida più a mettere server in container o in strutture che prendono fuoco in modo così devastante? Il danno di immagine è incalcolabile. E credo che nessun rapporto dei vigili del fuoco possa ridare fiducia.

Quello che non capisco è: come cazzo tirano su SBG1 che ha il 33% delle stanze bruciate? (4 su 12)

Quello che non capisco è: come cazzo tirano su SBG1 che ha il 33% delle stanze bruciate? (4 su 12)

Hanno detto che ripristinano solo le sale intatte.
Dubito rifaranno SBG1 ancora con i container. Tutto il sito sarà da rivedere dopo questo incidente.

Sul sito OVH riportano:
Every data center room is fitted with a fire detection and extinction system, as well as fire doors. OVHcloud complies with the APSAD R4 rule for the installation of mobile and portable fire extinguishers and has the N4 certificate of conformity for all our data centers.

Quindi ogni container dovrebbe avere la sua porta antincendio, sistemi di rilevamento fumi ed estintori portatili.
Mi sembra strana l'assenza di un sistema centralizzato, ma per dirlo occorre la copia del certificato e del progetto.

Vedremo il rapporto dei vigili del fuoco, da quello dipende se l'assicurazione caccia i soldi o meno...
Il problema è che fare qualcosa, con qualcosa che non è nato per quegli scopi, porta a questi risultati. Un container è metallico, il metallo è il miglior conduttore di calore, quindi la propagazione dell'incendio per irraggiamento avviene a velocità superiori rispetto ad un incendio in un edificio di cemento. Non a caso gli incendi sulle navi sono devastanti.
I datacenter nei container vengono usati solitamente per i disaster recovery: porti il container, attacchi la spina e parti, non per una installazione permanente.

Il problema è che fare qualcosa, con qualcosa che non è nato per quegli scopi, porta a questi risultati. Un container è metallico, il metallo è il miglior conduttore di calore, quindi la propagazione dell'incendio per irraggiamento avviene a velocità superiori rispetto ad un incendio in un edificio di cemento. Non a caso gli incendi sulle navi sono devastanti.
I datacenter nei container vengono usati solitamente per i disaster recovery: porti il container, attacchi la spina e parti, non per una installazione permanente.

Corretto ma SBG2 che è strato distrutto dall'incendio era in cemento. Gli edifici devono essere anche distanti mentre in questo sito sono uno attaccato all'altro.

Comunque solo SBG1 e SBG4 sono fatti con i container navali. SBG2 e SGB3 sono in cemento. Molto interessante questo articolo che riassume anche quanto detto da Ercolino sopra.

https://www.datacenterknowledge.com/uptime/ovh-disassemble-container-data-centers-after-epic-outage-europe

https://i.postimg.cc/d1dmVNXv/Schermata-2021-03-10-alle-19-01-35.png

Corretto ma SBG2 che è strato distrutto dall'incendio era in cemento. Gli edifici devono essere anche distanti mentre in questo sito sono uno attaccato all'altro.
Vabbè... mica ho detto che gli edifici in cemento non possono subire incendi....

Vabbè... mica ho detto che gli edifici in cemento non possono subire incendi....

Certo che no. Era in merito a questa tua affermazione:

Il problema è che fare qualcosa, con qualcosa che non è nato per quegli scopi, porta a questi risultati. Un container è metallico..

Ma l'incendio pare si sia sviluppato da un edificio, SBG2, non composto da container.

Certo che no. Era in merito a questa tua affermazione:



Ma l'incendio pare si sia sviluppato da un edificio, SBG2, non composto da container.
E la mia affermazione era in risposta ad un'affermazione specifica sui sistemi antincendio. Non ho detto nè che quelli in cemento non sono soggetti ad incendi, nè che la causa sia da ricercare nella struttura in container. Ho detto solo che in quella in container si propaga meglio e più velocemente. Probabilmente se fosse stato in cemento, ci sarebbero stati danni minori.

Da CTO posso solo che dispiacermi per un fatto così gravoso e sono vicino a tutti i tecnici che stanno e dovranno combattere contro clienti / pseudo colleghi / manager per ripristinare una situazione critica.

Dall'altro sono contentissimo di aver abbandonato OVH per Hetzner 5 anni fa visto lo scarso livello tecnico di OVH.

Hetzner è tutt'altra musica fidatevi.

E come Hetzner ce ne saranno altri molto meglio di ovh non fatevi ingolosire dai prezzi bassi.

Detto questo: forza e coraggio a tutti i fratelli tecnico / sistemisti / informatici

le mie mail intanto sono tornate funzionanti; sono stati più veloci di quanto mi aspettassi, e soprattutto le mail inviate dopo l'incendio sono state comunque ricevute e non perse.

le mie mail intanto sono tornate funzionanti; sono stati più veloci di quanto mi aspettassi, e soprattutto le mail inviate dopo l'incendio sono state comunque ricevute e non perse.

Si, ieri sera stavano facendo il ripristino del servizio email andato distrutto su SBG2.

https://i.postimg.cc/tgxwMMxg/emai.png

Hanno detto che ripristinano solo le sale intatte.
Dubito rifaranno SBG1 ancora con i container. Tutto il sito sarà da rivedere dopo questo incidente.

La dismissione dei container era giá prevista, sicuramente la preparazione di SBG5 sará accelerata.

Stanno preparando la sala B in SBG5 per poter poi riattivare SBG1-4 e poi il 3. Hanno lavorato nella notte

http://travaux.ovh.net/?do=details&id=49484

Per le 10:30 dovrebbe esserci un altro aggiornamento della situazione

multiplayer.it è tornato online
con il backup di IERI
sempre su OVH
fa specie nel comunicato leggere
"with YOUR disaster recovery"
andiamo bene

beh dipende anche dal livello di servizio che si sceglie, ora non sono esperto di ovh ma generalmente vale la regola del "si ottiene quel che si paga" anche nelle server farm

se acquisti solo energia e networking qualsiasi problema di Hw / SO / Applicazioni backup e restore sono a carico del cliente
se acquisti energia networking e manutenzione Hw qualsiasi problema di SO / Applicazioni /Backup e gestione sono a carico del cliente
....
fino ad arrivare a
...
se affitti una soluzione SaaS tutti i problemi sono a carico del gestore


quindi non bisogna dare per scontato che visto che è bruciata la server farm era scontato che OVH avrebbe dovuto garantire HA e ridondanza a tutti i server nella farm, tutto dipende da cosa si vuole / si paga,

ci sono anche soluzioni in cui il personare della server farm non ha fisicamente accesso ai server (i server sono messi in una gabbia le cui chiavi sono in mano al solo cliente) e per qualsiasi intervento è il sistemista del cliente che và fisicamente in farm a lavorare sulle macchine quindi non è così scontato che il disaster recovery sia a carico di OVH

La dismissione dei container era giá prevista, sicuramente la preparazione di SBG5 sará accelerata.

Stanno preparando la sala B in SBG5 per poter poi riattivare SBG1-4 e poi il 3. Hanno lavorato nella notte

http://travaux.ovh.net/?do=details&id=49484

Per le 10:30 dovrebbe esserci un altro aggiornamento della situazione

e ci mancherebbe altro :D lavoreranno a squadre 24/7 fino alla risoluzione, se prevedono di mettere in linea 10000 server in una settimana con connettività rete energia e raffreddamento in una farm non completa come pare che sia la 5 il lavoro da fare è colossale

Negli apparati elettrici/elettronici il calore e quindi il fuoco si sviluppa solo se viene fatta passare una corrente enorme su cavo relativamente sottile per tale carico, o se tale corrente, passa attraverso un contatto elettrico non perfetto, dove si sviluppa il cosidetto arco, che genera una grande quantità di calore.
E ci sono appositi sistemi per prevenirlo.
Inoltre i cavi, se del 2012, sono o dovrebbero essere, non propaganti l'incendio.
E non credo che ci siano tanti materiali facilmente infiammabili come combustibili, carta, legno all'interno dei data center.

Quindi il mistero si infittisce !


dimentichi le batterie, tonnellate di batterie che se di litio bruciano che è una bellezza di loro mentre se sono al piombo un eventuale corto con rottura involucro e dispersione di acido può generare un bel pò di idrogeno se la mia memoria del corso di chimica non mi inganna :D :D

Alcune foto di SBG2 bruciato:


https://i.postimg.cc/2S8jtJnm/Ew-JSn8-ZWg-AAcj6n.jpg

https://i.postimg.cc/3NF7SCRd/Ew-G-C84-WYAc-Lp-Lj.jpg

https://i.postimg.cc/kGRw79zS/26dae224-be35-44fd-88a4-a05ccdabd0cd-alta-libre-aspect-ratio-default-0.jpg

Pare che i piani di SGB2 fossero realizzati in legno. Foto di Octave Klaba del 2013 al momento della costruzione.

https://twitter.com/MedecineLibre/status/1369622785220173825

https://i.postimg.cc/k4sF9GTD/1.png

https://i.postimg.cc/YCF60bd5/2.png

Hanno detto che ripristinano solo le sale intatte.
Dubito rifaranno SBG1 ancora con i container. Tutto il sito sarà da rivedere dopo questo incidente.

Quindi qualcuno la prende nel culo e qualcuno no? O le 4 stanze bruciate di SBG1 contenevano "altro" e quindi tutta la parte dati di SBG1 è ok? (ha detto che la sala network di SBG1 è ok, ma non ha specificato cosa è andato perso di SBG1)

Cmq le foto che hai messo sono impressionanti...non credo proprio che i buchi siano stati fatti dai pompieri...ok che il metallo sottoposto a sbalzi di temperatura prima o poi diventa fragile (tipo i bidoni di petrolio con cui le battone si scaldano sulla binasca che dopo un po riesci a vedere il fuoco dentro dai fori che si creano sulla struttura), però crateri di quel tipo, con i bordi così arrotondati vuol dire metallo fuso...e non credo che siano di alluminio. Si deve essere generato un calore bestiale lì dentro, credo che indipendentemente dal fatto di avere HDD o SSD sia assolutamente impossibile ricavarne qualcosa, anche in data recovery.
E anche l'edificio sembra a rischio crollo...la parte sinistra ha un piano piegato in avanti, come se i pilastri portanti stessero cedendo.

Insomma quindi, container a parte, anche SGB2 e SGB3 non sono tanto diversi, tutti in metallo e legno. Mi sembrano tutte soluzioni votate al contenimento dei costi più che alla sicurezza intrinseca. Poi ci si chiede perché OVH fa prezzi bassi e gli altri no?

Consiglio a tutti la lettura di questo articolo:

https://dday.it/redazione/38814/ovh-e-il-datacenter-in-fiamme-perche-puo-succedere-e-perche-i-dati-sono-persi-per-sempre

https://i.postimg.cc/76mpQgTL/ddd.png

E' down anche PLCForum :\

Aggiornamenti:


https://i.postimg.cc/CMqFBPZN/1.png
https://i.postimg.cc/CLCSJRsn/2.png
https://i.postimg.cc/139PdyvC/3.png

Non traete conclusioni sui materiali e sulle cause della propagazione dell'incendio, basandovi su delle fotografie, possono essere molto fuorvianti.

dimentichi le batterie, tonnellate di batterie che se di litio bruciano che è una bellezza di loro mentre se sono al piombo un eventuale corto con rottura involucro e dispersione di acido può generare un bel pò di idrogeno se la mia memoria del corso di chimica non mi inganna :D :D
Vero, ma se bruciavano tonnellate di litio, secondo me l'incendio lo vedevamo anche da qui...

mentre se sono al piombo un eventuale corto con rottura involucro e dispersione di acido può generare un bel pò di idrogeno

Se veramente si fosse generato idrogeno credo che avrebbero sentito il boato a Km di distanza...

Vero, ma se bruciavano tonnellate di litio, secondo me l'incendio lo vedevamo anche da qui...

infatti di solito le sale ups dei datacenter usano accumulatori al piombo

Se veramente si fosse generato idrogeno credo che avrebbero sentito il boato a Km di distanza...

non è detto che idrogeno = esplosione eh

Octave ha aggiornato la situazione

http://travaux.ovh.net/?do=details&id=49484

Sono state pubblicate anche le faq

https://help.ovhcloud.com/en/faq/strasbourg-incident/

https://help.ovhcloud.com/fr/faq/incendie-strasbourg/

https://twitter.com/olesovhcom

A breve Octave mette un filmato della situazione



Quali datacenter sono interessati a Strasburgo?

Dei quattro datacenter OVHcloud a Strasburgo, SBG2 è stato il più colpito: è stato distrutto nell'incendio. Anche l'SBG1 è stato colpito dall'incendio: quattro dei suoi locali sono stati gravemente colpiti (rack 61Bxx, 61Cxx, 62Bxx e 62Cxx); gli altri otto furono risparmiati. La rete SBG1 funziona. I server ospitati in SBG3 e SBG4 non sono stati interessati.

Per Public Cloud, le regioni OpenStack direttamente interessate dall'incendio sono: openstack-sbg1, openstack-sbg2, openstack-sbg3 e openstack-sbg4 (fisicamente nel datacenter SBG2). Le regioni openstack-sbg5 e openstack-sbg6 non sono disponibili (fisicamente nel datacenter SBG3), ma verranno rimesse in servizio non appena SBG3 sarà operativo.

Comunicato video/audio diOctave appena postato

https://www.ovh.com/fr/images/sbg/Octave-Klaba-speaking-en.mp4

Qui c'è la versione comprensibile.

https://www.ovh.com/fr/images/sbg/Octave-Klaba-speaking-en.mp4


Le allarmi sono partite alle 0:47 e i dipendenti sono subito accorsi ma non sono potuti entrare perchè c'era troppo fumo. All'arrivo dei Vigili del Fuoco, con una videocamera termica, hanno individuato l'origine del fuoco negli UPS 7 e 8 (surprisis surprisis). Il giorno prima era stata effettuata manutenzione all'UPS7 ed erano stati cambiati molti pezzi da parte del produttore. L'han fatto ripartire nel pomeriggio ma nella notte...Kaboom. Hanno 300 telecamere dentro il datacenter e cercheranno di estrarre i video per capire come si è sviluppato il fuoco.

Probabilmente la colpa sarà divisa a metà (anche se prendono fuoco due UPS non può andare su come una pira un edificio di 6 piani), ma credo che in questo momento chi ha fatto manutenzione all'UPS stia provando un po' di disagio...

Pdf del 2017 che spiega come sono stati progettati i datacenter nei container di OVH:

https://www.fenercom.com/wp-content/uploads/2019/10/2017-05-04-Water-cooling-with-free-cooling-to-have-a-very-low-power-usage-effectiveness-OVH-fenercom.pdf

https://i.postimg.cc/X73Zk0K5/Schermata-2021-03-11-alle-18-57-28.png

In queste foto di Klaba si può vedere molto bene la struttura di SBG2 in costruzione con i piani in legno.
Può essere questo il motivo per cui tutto l'edificio si è acceso come un cerino? ..

https://twitter.com/olesovhcom/status/352402044474228737?s=09
https://i.postimg.cc/hG2SRHNX/Schermata-2021-03-11-alle-19-32-48.png

https://twitter.com/olesovhcom/status/352401657851686912?s=09
https://i.postimg.cc/6q9g63Rw/Schermata-2021-03-11-alle-19-33-26.png

https://twitter.com/olesovhcom/status/327696824825692161?s=09
https://i.postimg.cc/jSKvJ5SJ/Schermata-2021-03-11-alle-19-41-29.png

https://twitter.com/olesovhcom/status/320100441146925057?s=09
https://i.postimg.cc/mg83zyn0/Schermata-2021-03-11-alle-19-42-15.png

Qui c'è la versione comprensibile.

https://www.ovh.com/fr/images/sbg/Octave-Klaba-speaking-en.mp4


Le allarmi sono partite alle 0:47 e i dipendenti sono subito accorsi ma non sono potuti entrare perchè c'era troppo fumo. All'arrivo dei Vigili del Fuoco, con una videocamera termica, hanno individuato l'origine del fuoco negli UPS 7 e 8 (surprisis surprisis). Il giorno prima era stata effettuata manutenzione all'UPS7 ed erano stati cambiati molti pezzi da parte del produttore. L'han fatto ripartire nel pomeriggio ma nella notte...Kaboom. Hanno 300 telecamere dentro il datacenter e cercheranno di estrarre i video per capire come si è sviluppato il fuoco.

Probabilmente la colpa sarà divisa a metà (anche se prendono fuoco due UPS non può andare su come una pira un edificio di 6 piani), ma credo che in questo momento chi ha fatto manutenzione all'UPS stia provando un po' di disagio...

Beh vorrei vedere....

Octave dovrebbe mettere il video audio anche in Inglese.

Octave dovrebbe mettere il video audio anche in Inglese.

Ercolino l'ha già linkato in inglese GabryJ84 nel suo post.

Vero grazie

;)

In queste foto di Klaba le stanze al piano terra (!) adibite ai trasformatori e UPS di SBG2.
Notare il lamierino sotto al pavimento in legno. Pare chiaro come il fuoco dei UPS sia riuscito a farsi strada fino in cima all'edificio.
Ognuno tiri le sue conclusioni su questo progetto.

https://twitter.com/olesovhcom/status/327697983258902528?s=09
https://i.ibb.co/4NmqY4Q/Schermata-2021-03-11-alle-21-02-37.png

https://twitter.com/olesovhcom/status/345865100894289920?s=09
https://i.ibb.co/7zSgdbW/Schermata-2021-03-11-alle-21-06-24.png


PS: SBG3 si è salvato grazie alla colonna in cemento armato che ha fatto da taglia fuoco.

https://twitter.com/olesovhcom/status/317405653146673152?s=09
https://i.ibb.co/h8V57Lx/Schermata-2021-03-11-alle-21-12-02.png

In queste foto di Klaba si può vedere molto bene la struttura di SBG2 in costruzione con i piani in legno.
Può essere questo il motivo per cui tutto l'edificio si è acceso come un cerino?

:eek: :eek: :eek: :eek: :eek: :eek:

Ma è fire-compliant una roba del genere?

Puoi avere tutti i sistemi di sicurezza del mondo, ma quando un UPS va su di calore ne sprigiona un bel po...una volta che il fuoco ha fatto un buco nel pavimento è come se non esistesse più compartimentazione...e a questo punto temo che esistesse sì un antincendio...ma solo come cicalino e non come impianto di spegnimento automatico.

Tra l'altro se l'incendio è partito dal basso e man mano che aggrediva i soffitti/pavimenti via via più alti tutto quello che era posizionato sopra cascava giù in caduta libera prima di arrivare nel bracere, quindi in sostanza è come se i server avessero fatto la parte dello gnocco fritto nella friggitrice...anche fossero stati risparmiati dal fuoco dubito avrebbero recuperato qualcosa di utilizzabile...quando un HD cade da 5 piani viene praticamente polverizzato...

C'è rimanere basiti ma è proprio così.

Vedremo poi quando verrà pubblicato il report completo dell'incidente, cosa effettivamente è successo e soprattutto come mai non si è riusciti a bloccare l'incendio sul nascere.

Tutti i miei portali (ben 30) erano su quel Datacenter (SBG2).
Grazie a Dio il giorno prima ho avuto premura di fare puntualmente i backups di tutto in locale (li faccio ogni settimana oppure ogni volta che faccio un update importante a qualcosa) altrimenti tutto il mio lavoro di una vita sarebbe andato in cenere.

Onestamente di SBG2 non hanno ancora parlato.
Stanno avendo premura di riattivare i 3 datacenter illesi 1-3-4 ma nessuna rassicurazione per i più sfortunati: se esitono delle copie replicate, se ci daranno dei server sostitutivi o altro.

Il nostro è anche un mondo in cui stare chiusi per giorni costa... a livello concorrenziale, di SEO, di clientela, di pubblicità, peggio ancora se sei un reseller e devi rendere conto a tuoi clienti.

E ringrazio Dio nuovamente che ho i backups di quasi tutto, la restante parte la posso recuperare scriptando o in qualche giorno di manualità. Ho comprato un altro server, ora sto spostando tutto e in qualche giorno dovrei essere pienamente operativo...

Ho letto di persone che non fanno backup locale da tantissimo e stanno disperate per il loro business...OK se ti hackerano, ma se si incendia il palazzo in cui tieni tutto il tuo lavoro effettivamente ti girano.

OVH dovrà risarcire i clienti di SBG2 in base al tempo di downtime e alla mole di dati perduti, spero parta una class action.

Vedremo poi quando verrà pubblicato il report completo dell'incidente, cosa effettivamente è successo e soprattutto come mai non si è riusciti a bloccare l'incendio sul nascere.

Credo che ormai sia sufficientemente chiaro. Un pavimento di legno non offre compartimentazione, quindi anche ci fossero stati sistemi ad abbattimento di ossigeno, sarebbero stati inefficaci.
Se ci fossero stati sprinkler l'incendio non sarebbe mai arrivato a proporzioni così devastanti, salvo una totale assenza di acqua.

Alla fin fine al 99% uscirà fuori che è andata così perchè la costruzione era indegna (non stavano costruendo un eco-museo con materiali sostenibili) e la propagabilità del fuoco ad un indice altissimo, stanti i soffitti ma, in definitiva, anche le strutture di sostegno. (una volta passato da principio di incendio ad incendio generalizzato, quei lamierini leggeri e colonne in acciaio di sezione ridicola han fatto il resto. E quell'inclinazione della parte sinistra che notavo ieri è molto probabilmente il risultato di tutto questo, una volta raggiunti i 500 gradi l'acciaio non viene più considerato strutturale e può crollare per il solo peso che ha, mentre una volta raggiunti i 900-1000 gradi il ferro diventa come una bigbabol. E con tutto quel carico di incendio, altro che 1000 gradi...

Una volta preso fuoco per bene SBG2, l'eccessiva vicinanza ha fatto sì che le lamiere dei container di SBG1 si scaldassero arrivando a temperature dali da irraggiare anche l'interno dei container. Una volta che la temperatura interna ha raggiunto la temperatura di auto-ignizione di qualsiasi cosa ivi contenuta, anche quel container è andato su, aumentando ulteriormente la temperatura e facendo la stessa identica cosa col container di sopra e quello di sotto.
Una volta che il container sopra si è trovato con il pavimento a contatto e con il lato esposto irraggiato, non credo potesse avere molte chance...

Non c'è che dire...una costruzione decisamente geniale.

Octave ha aggiornato la situazione

http://travaux.ovh.net/?do=details&id=49484

Sono state pubblicate anche le faq

https://help.ovhcloud.com/en/faq/strasbourg-incident/

https://help.ovhcloud.com/fr/faq/incendie-strasbourg/

https://twitter.com/olesovhcom

A breve Octave mette un filmato della situazione



Quali datacenter sono interessati a Strasburgo?

Dei quattro datacenter OVHcloud a Strasburgo, SBG2 è stato il più colpito: è stato distrutto nell'incendio. Anche l'SBG1 è stato colpito dall'incendio: quattro dei suoi locali sono stati gravemente colpiti (rack 61Bxx, 61Cxx, 62Bxx e 62Cxx); gli altri otto furono risparmiati. La rete SBG1 funziona. I server ospitati in SBG3 e SBG4 non sono stati interessati.

Per Public Cloud, le regioni OpenStack direttamente interessate dall'incendio sono: openstack-sbg1, openstack-sbg2, openstack-sbg3 e openstack-sbg4 (fisicamente nel datacenter SBG2). Le regioni openstack-sbg5 e openstack-sbg6 non sono disponibili (fisicamente nel datacenter SBG3), ma verranno rimesse in servizio non appena SBG3 sarà operativo.

Ciao
perdonami, io avevo un vps con questa localizzazione:

Zona (Cluster)
os-sbg1-014 (cluster-001)

Localizzazione
Strasburgo (SBG1) - Francia


non ho capito, dovrei considerarlo completamente perso?
Cioè, openstack-sbg1 = os-sbg1 ? oppure sto fraintendendo la sigla?

Non avevo dati, ma configurazioni che mi seccherebbe perdere di vpn e altre cose, dei quali non ho backup... che palle :cry: :cry:

così a occhio hai meno del 25% della probabilità di aver perso le configurazioni sbg1 ha 4 room distrutte su 12 ed una dovrebbe essere quella di networking

non arrivo a capire la portata della disperazione della perdita dei dati, dipende dai dai dati e dalla rilevanza, se per siti o per i dati, e se anche se ne è perso il backup, solo locale in alcuni casi... dipende... penso che possa essere molta in relazione all'importanza alle attività commerciali/economiche dei dati... e dispiace...
ma dalle foto che ci sono... vedo INOLTRE che quel luogo è nei pressi
-qualche decina di metri o meno- di un fiume,
che dovrebbe essere il Reno o una sua diramazione,
ma è fattibile avere una locazione di una "server/farm-datacenter" di quella grandezza E con quelle caratteristiche in quella posizione?
non è davvero fuori luogo quella locazione?
se non fosse stato il fuoco, a parte backup e delocalizzazione, per esempio in caso di alluvione, come avranno pensato di non avere danni alla struttura, la cui costruzione sembra simile a un progetto in materiali e struttura di uno stand dimostrativo, che come qualcuno scriveva può avere solo la caratteristica di temporaneità anche nel senso della non solidità operativa invece richiesta per questo tipo di strutture... quando invece si tratta di container impilati, e non mi sembra ci siano barriere per evitare l'allagamento del posto... che se entra l'acqua smonta la struttura e si porta quei container come grissini...
o forse ho capito male io: magari le protezioni ci sono, nel caso di "alluvione"...
mah! e :boh:

quel tizio che si vede nelle foto, Octave, il responsabile, penso debba avere quattro teste e farne dormire una a turno nelle 24 ore,
chissà costa sta passando...
che sfascio

Ho letto di persone che non fanno backup locale da tantissimo e stanno disperate per il loro business...OK se ti hackerano, ma se si incendia il palazzo in cui tieni tutto il tuo lavoro effettivamente ti girano.

OVH dovrà risarcire i clienti di SBG2 in base al tempo di downtime e alla mole di dati perduti, spero parta una class action.

I backup locali vanno sempre fatti se no poi quando perdi i dati piangi. Questo molti ancora non lo vogliono capire. Magari dopo questo evento molti prenderanno coscienza della situazione.
In merito alla class action, se il contratto che hai stipulato con OVH non prevede un recovery plan i dati sono perduti e non ci possono fare nulla.

Rinnovo l'invito a leggere questo articolo che spiega bene la situazione:

https://dday.it/redazione/38814/ovh-e-il-datacenter-in-fiamme-perche-puo-succedere-e-perche-i-dati-sono-persi-per-sempre

https://i.postimg.cc/cCZ44d4z/1.png


ma è fattibile avere una locazione di una "server/farm-datacenter" di quella grandezza E con quelle caratteristiche in quella posizione?
non è davvero fuori luogo quella locazione?


Molti datacenter vengono fatti al risparmio.

Rinnovo l'invito a leggere questo articolo che spiega bene la situazione:

https://dday.it/redazione/38814/ovh-e-il-datacenter-in-fiamme-perche-puo-succedere-e-perche-i-dati-sono-persi-per-sempre

https://i.postimg.cc/QdRDdjfq/2.png

...se il contratto che hai stipulato con OVH non prevede un recovery plan i dati sono perduti e non ci possono fare nulla.
------
Rinnovo l'invito a leggere questo articolo che spiega bene la situazione:

https://dday.it/redazione/38814/ovh-e-il-datacenter-in-fiamme-perche-puo-succedere-e-perche-i-dati-sono-persi-per-sempre

https://i.postimg.cc/cCZ44d4z/1.png



Molti datacenter vengono fatti al risparmio.

Rinnovo l'invito a leggere questo articolo che spiega bene la situazione:

https://dday.it/redazione/38814/ovh-e-il-datacenter-in-fiamme-perche-puo-succedere-e-perche-i-dati-sono-persi-per-sempre

https://i.postimg.cc/QdRDdjfq/2.png
Immagino che molti non abbiano nemmeno letto il contratto...
Penso che, molto infaustamente, molte ditte o quello che siano falliranno...
penso anche ai diversi comuni che potrebbero dovere ricostruire database persi con decine di migliaia di cittadini, impiegheranno almeno un decennio...
L'articolo l'avevo letto, grazie
Ma quell'ovh non aveva delocalizzazione di quanto lì presente...
Molti falliranno e non potranno nemmeno avvalersi di rimborsi per perdita dell'attività, commerciale? Se a quanto leggo le assicurazioni pagano solo il gestore per la perdita, dipende dalle responsabilità dell'incendio, materiale delle apparecchiature...
Mah...

Michel Paulin (Directeur Général d’OVH Cloud): Suite à l'incendie, "les data ne sont pas forcément perdues mais non-accessibles"

https://twitter.com/goodmorning_biz/status/1370267547359141890

Michel Paulin (Directeur Général d’OVH Cloud): Suite à l'incendie, "les data ne sont pas forcément perdues mais non-accessibles"

https://twitter.com/goodmorning_biz/status/1370267547359141890

Nel senso che li recuperano dagli hard disk fusi di SBG2?
O sono locati in altri data center? E se così fosse perché non sono accessibili?

Nel senso che li recuperano dagli hard disk fusi di SBG2?
O sono locati in altri data center? E se così fosse perché non sono accessibili?

Non so come sono organizzati e non so esattamente a cosa si riferisse, dipende anche dal tipo di backup che ognuno ha, se server condiviso, dedicato ecc....

https://www.ovhcloud.com/it/bare-metal/backup-storage/ Per i server dedicati

Qual è la differenza tra Backup Storage e un server di backup?

I server di backup condividono alcune funzionalità con la nostra soluzione Backup Storage, ma i due sistemi presentano notevoli differenze. Con Backup Storage, ad esempio, usufruisci gratuitamente di 500 GB di storage e lo spazio è interamente gestito da OVHcloud. Puoi accedere ai file di backup tramite un protocollo scelto (FTP, FTPS, NFS o CIFS) ed effettuare facilmente un upgrade fino a 10 TB. L'accesso allo storage è limitato all'indirizzo IP del server, che può essere uno dei tuoi IP principali o un Floating IP. (Quindi al backup che si trova su un HDD esterno ubicato in altro datacenter si può accedere solo dalla rete interna OVH dall'IP del server)

Anche se offrono più opzioni, i server di backup richiedono la stessa gestione dei server principali. Questa soluzione permette di scegliere il modo e il luogo da cui accedere ai file e adattare le impostazioni in base alle proprie necessità. È inoltre possibile centralizzare i dati provenienti da diversi server e datacenter. Diversamente dalla soluzione Backup Storage, i server di backup possono essere accessibili sia su Internet che attraverso la rete privata vRack di OVHcloud. Il loro spazio disco è personalizzabile e dispongono di banda passante illimitata per i backup regolari.

Da quanto capito loro offrono solo lo storage, è di competenza del cliente effettuare il backup in questo spazio, non viene fatto in automatico. Chi non l'ha fatto ha perso i dati.

https://i.postimg.cc/Xq1zsX0R/1.png

Da che mondo è mondo, i data center offrono backup e replicazione delocalizzata solo a pagamento, chi gestisce l'IT di un'azienda queste cose le dovrebbe sapere.

Non è che AWS o Azure predispongono le regions, le availaiblity zones e compagnia cantante solo per la compliance, però ovviamente devi pagare questo servizio oppure organizzarti in locale.

Chi ha perso totalmente i dati è stato solo poco previdente e lungimirante (oltre che ingenuo quando ha firmato il contratto), queste cose accadono raramente ma comunque la possiblità c'è sempre, sopratutto se le infrastrutture dei data center vengono fatte a risparmio come sembra in questo caso. :read:

non arrivo a capire la portata della disperazione della perdita dei dati, dipende dai dai dati e dalla rilevanza, se per siti o per i dati, e se anche se ne è perso il backup, solo locale in alcuni casi... dipende... penso che possa essere molta in relazione all'importanza alle attività commerciali/economiche dei dati... e dispiace...
ma dalle foto che ci sono... vedo INOLTRE che quel luogo è nei pressi
-qualche decina di metri o meno- di un fiume,
che dovrebbe essere il Reno o una sua diramazione,
ma è fattibile avere una locazione di una "server/farm-datacenter" di quella grandezza E con quelle caratteristiche in quella posizione?
non è davvero fuori luogo quella locazione?
se non fosse stato il fuoco, a parte backup e delocalizzazione, per esempio in caso di alluvione, come avranno pensato di non avere danni alla struttura, la cui costruzione sembra simile a un progetto in materiali e struttura di uno stand dimostrativo, che come qualcuno scriveva può avere solo la caratteristica di temporaneità anche nel senso della non solidità operativa invece richiesta per questo tipo di strutture... quando invece si tratta di container impilati, e non mi sembra ci siano barriere per evitare l'allagamento del posto... che se entra l'acqua smonta la struttura e si porta quei container come grissini...
o forse ho capito male io: magari le protezioni ci sono, nel caso di "alluvione"...
mah! e :boh:

quel tizio che si vede nelle foto, Octave, il responsabile, penso debba avere quattro teste e farne dormire una a turno nelle 24 ore,
chissà costa sta passando...
che sfascio

pensa che ci sono datacenter sotto i fiordi o direttamente sommersi, spesso si usa l'acqua del fiume / mare per raffreddamento

Chi ha perso totalmente i dati è stato solo poco previdente e lungimirante

Non c'è la cultura dei backup, gli incendi sono rari ma i ransomware sono all'ordine del giorno. Poi piangono sempre a dati persi.

pensa che ci sono datacenter sotto i fiordi o direttamente sommersi, spesso si usa l'acqua del fiume / mare per raffreddamento
cioè che tutto l'hardware è immerso DIRETTAMENTE nell'acqua del fiume/mare? :eek: :D
nella mia ignoranza presumo che le strutture gli ambienti spaziali che racchiudono l' hardware :D
siano,
diversamente dalle foto di "questo" sito OVH,
meno trasparenti agli influssi sia del fuoco che dell'acqua, nel senso della mobilità... :D

Quando i camini si trasformano in fornace...

https://twitter.com/mikepuchol/status/1370302760751570945

https://i.postimg.cc/XX6S3ppT/1.png

https://www.linkedin.com/posts/eurafibre_fibre-strasbourg-datacenters-activity-6776065591133523968-cYoS

In questa foto è possibile osservare che il tetto in legno non c'è più, è bruciato tutto, si vede il cielo attraverso.

https://france3-regions.francetvinfo.fr/image/PtyYYDby3ffUL8ifoqwOLUZcqG4/930x620//filters:format(webp)/regions/2021/03/10/6048741ca8ed5_whatsapp_image_2021-03-10_at_08.08.27-5224436.jpeg

Purtroppo andrà un po' per le lunghe

Aggiornamento 12 marzo, 11:00 1/4

Questo pomeriggio, invieremo l'e-mail a ciascun cliente con la sua situazione specifica e le opzioni. In ogni caso, consigliamo di riavviare il servizio negli altri nostri DC (RBX / GRA) dove stiamo aggiungendo le risorse aggiuntive. I mesi gratuiti verranno applicati al più presto

Aggiornamento 12 marzo, 11:00 2/4

Stiamo lavorando con gli esperti dell'assicurazione per ripotenziare SBG1 / 3/4 oggi dai generatori. L'obiettivo è verificare, stanza per stanza, attrezzatura per attrezzatura, che l'infrastruttura funzioni. Non ci aspettiamo di riavviare i server prima della prossima settimana.

Aggiornamento 12 marzo, ore 11 e 3/4

La nuova sala di rete (B) + 20KV per SBG3 è stata assemblata e sarà in viaggio questa notte, a lato domani. Quindi, iniziamo a collegarli. Prenderanno in consegna i generatori SBG3 da ven.
Verifichiamo 20KV + 240V in SBG1 / SBG4 per rilevare i generatori entro martedì

Aggiornamento 12 marzo, 11:00 4/4

Inizieremo il repowering di SBG1 / SBG4 entro la fine della prossima settimana, venerdì 19. Ci vorranno 2 giorni per avere tutti i server UP. Inizieremo il repowering di SBG3 entro la metà della prossima settimana, mercoledì 17, ci vorranno 6-8 giorni per avere tutti i server UP.

Inizieremo il repowering di SBG1 / SBG4 entro la fine della prossima settimana, venerdì 19. Ci vorranno 2 giorni per avere tutti i server UP. Inizieremo il repowering di SBG3 entro la metà della prossima settimana, mercoledì 17, ci vorranno 6-8 giorni per avere tutti i server UP.

Madò per il digital forum bisogna aspettare ancora una settimana :(

Madò per il digital forum bisogna aspettare ancora una settimana :(

Sto sclerando :muro:

c'è da dire comunque, il loro piano di disaster recovery è impressionante in quanto a velocità di ricostruzione, avere in casa hw per assemblare e mettere in lina 2500 server a settimana + tutte le utility è tanta roba

c'è da dire comunque, il loro piano di disaster recovery è impressionante in quanto a velocità di ricostruzione, avere in casa hw per assemblare e mettere in lina 2500 server a settimana + tutte le utility è tanta roba

Evidentemente gli conviene così invece che costruire i data center in cemento armato.

Evidentemente gli conviene così invece che costruire i data center in cemento armato.

ovviamenrte si l'articolo postato qualche pagina fà parlava proprio di quello

Evidentemente gli conviene così invece che costruire i data center in cemento armato.

Strasburgo è stato solo un esperimento tanti anni fa di usare dei container, poi è stato abbandonato e tutti gli altri datacenter incluso SGB3 e SBG5 (in fase di ultimazione, metteranno li la room B) sono in cemento

Strasburgo come data center è il più comodo per l'Italia, perchè è il più vicino ed ha un collegamento diretto in fibra dal POP di Milano

http://weathermap.ovh.net/#europe

Questo è stato anche uno dei motivi che ci ha fatto scegliere Strasburgo 9 anni fa

Nuovo video

https://stream24.ilsole24ore.com/video/mondo/strasburgo-immagini-data-center-distrutto-incendio/ADmz8hPB

Nuovo video

https://stream24.ilsole24ore.com/video/mondo/strasburgo-immagini-data-center-distrutto-incendio/ADmz8hPB

Impressionante:

https://i.postimg.cc/mgT9MZcT/1.png

https://i.postimg.cc/KvDkZX0w/2.png

Strasburgo è stato solo un esperimento tanti anni fa di usare dei container, poi è stato abbandonato e tutti gli altri datacenter incluso SGB3 e SBG5 (in fase di ultimazione, metteranno li la room B) sono in cemento

Strasburgo come data center è il più comodo per l'Italia, perchè è il più vicino ed ha un collegamento diretto in fibra dal POP di Milano

http://weathermap.ovh.net/#europe

Questo è stato anche uno dei motivi che ci ha fatto scegliere Strasburgo 9 anni fa

Articolo del 2018, quando era successo il primo incidente

La dismissione di SBG1 e SBG4 che sono dei conteiner era già prevista

https://www.ovh.it/news/articoli/al767.revisione-datacenter-2019-step-1-strasburgo-francia-europa-centrale

Se prima era prevista ora sicuramente la faranno.

State of Backup Service (Free or Paid) for the SBG customers: 1/5

- FTP Backup in SBG (Free/Paid) for VPS and Baremetal : the datas are in RBX. You have full access.

State of Backup Service (Free or Paid) for the SBG customers:2/5

- pCS in SBG: We hope to restore the pCS cluster in SBG next week. The servers are in SBG1 + SBG3. We may have some bad news, this is why the final status has to be confirmed in the next days.


State of Backup Service (Free or Paid) for the SBG customers:3/5

- Paid Backup VPS & PCI: 80% of the data are on pCS in SBG. please read the previous tweet about the state of pCS in SBG. 20% of the data was on pCA which was in SBG2.


State of Backup Service (Free or Paid) for the SBG customers:4/5

- Free/Paid Backup pCC in SBG1 was hosted in an separated room of SBG1. Both rooms are destroyed.

- Free/Paid Backup pCC in SBG3: all datas seems to be safe.


State of Backup Service (Free or Paid) for the SBG customers:5/5

We recommand to restart the service in our other DC (RBX or GRA). Free months will be applied asap.

A casa mia si direbbe...ma questi che c'hanno n'to la capoccia ?!? L'breccion del Tevere ?!? :muro:

State of Backup Service (Free or Paid) for the SBG customers: 1/5

- FTP Backup in SBG (Free/Paid) for VPS and Baremetal : the datas are in RBX. You have full access.

State of Backup Service (Free or Paid) for the SBG customers:2/5

- pCS in SBG: We hope to restore the pCS cluster in SBG next week. The servers are in SBG1 + SBG3. We may have some bad news, this is why the final status has to be confirmed in the next days.


State of Backup Service (Free or Paid) for the SBG customers:3/5

- Paid Backup VPS & PCI: 80% of the data are on pCS in SBG. please read the previous tweet about the state of pCS in SBG. 20% of the data was on pCA which was in SBG2.


State of Backup Service (Free or Paid) for the SBG customers:4/5

- Free/Paid Backup pCC in SBG1 was hosted in an separated room of SBG1. Both rooms are destroyed.

- Free/Paid Backup pCC in SBG3: all datas seems to be safe.


State of Backup Service (Free or Paid) for the SBG customers:5/5

We recommand to restart the service in our other DC (RBX or GRA). Free months will be applied asap.

Beh spiace leggere queste notizie, almeno non si e' fatto male nessuno. Se hanno gestito un piano di backup e disaster recovery degno di un data center allora dovrebbero avere tutti i dati backuppati anche in altri edifici proprio per evitare di perdere i dati a causa di catastrofi come questa. Ricordo a riguardo che a causa dell'attacco dell'11 settembre diverse aziende con sede nelle torri gemelle non sono fallite a causa dell'attacco, ma perche' avevano i backup immagazzinati all'interno delle torri stesse (credo ci fossero stanze apposite nei sotterranei), e quindi sono state incapaci di recuperare i dati.

Veramente i backup e i piani di contingency non sono a carico del datacenter ma delle utenze.

primo provider in EU
terzo al mondo
o meglio dire terzo mondo
non è possibile che bruci come un fiammifero, e non è possibile che vada in shutdown tutto il campus
come non è possibile che non abbiano repliche ridondate geograficamente distribuite
che cazzari
capisco un Aruba (sforzandomi)
ma qui dimostra che azure, gcloud e AWS sono su un altro livello.

beh dipende!
Il datacenter offre spazi in colocation quindi ti danno lo spazio per mettere i tuoi server. Poi la gestione dei backup e dei piani di contingency è a carico tuo, mica del datacenter...

al lavoro abbiamo (o avevamo :) ) 3 vps OVH su SBG1, qualche ora di down, ma entro sera era tutto online. I backup su Amazon S3 mi hanno salvato il :ciapet:

al lavoro abbiamo (o avevamo :) ) 3 vps OVH su SBG1, qualche ora di down, ma entro sera era tutto online. I backup su Amazon S3 mi hanno salvato il :ciapet:

Ottimo! Dovrebbe essere la prassi.

Ciao
perdonami, io avevo un vps con questa localizzazione:

Zona (Cluster)
os-sbg1-014 (cluster-001)

Localizzazione
Strasburgo (SBG1) - Francia


non ho capito, dovrei considerarlo completamente perso?
Cioè, openstack-sbg1 = os-sbg1 ? oppure sto fraintendendo la sigla?

Non avevo dati, ma configurazioni che mi seccherebbe perdere di vpn e altre cose, dei quali non ho backup... che palle :cry: :cry:



update odierno:
Sulla dashboard mi sono accorto che ora hanno variato i dati come segue:

Zona (Cluster)
os-sbg1-014 (cluster-001)

Localizzazione
Strasburgo (SBG) - Francia


Poi mi sono arrivate due mail, un estratto della prima riporta:
The impacts vary depending on the location of your service:

SBG2 datacentre (zones sbg-1, sbg-2 and sbg-4): The VPS cannot be put back into service.

We recommend placing a new order for an alternative service in our Gravelines datacentre (GRA), where we are increasing our capacity. To support you, we will provide the service free of charge, for an equivalent of 6 times the amount of your February 2021 invoice for this service.

SBG3 datacentre (zone sbg-6): The VPS will be put back into service on 22 March.

un estratto dalla seconda riporta:
Your VPS below can not be put back into service.



ma porca eva!!! ma io ero sul datacenter SBG1 !!!!

perché adesso mi scrivono che risulta che ero su SBG2 ??!?!?!?!

ovh di M3RÐ4... :# :@ :S

update odierno:
Sulla dashboard mi sono accorto che ora hanno variato i dati come segue:

Zona (Cluster)
os-sbg1-014 (cluster-001)


Anche secondo me qualcosa hanno modificato, attualmente ho:
os-sbg1-003 (cluster-001)
os-sbg1-012 (cluster-001)
os-sbg1-010 (cluster-001)
e prima sono sicuro di aver avuto qualcosa come sbg1-006. Dovrei controllare al lavoro, mi ero segnato su un foglio questi dati

Aggiornamenti:

https://i.postimg.cc/sxwH7rhp/Schermata-2021-03-13-alle-17-11-46.png

Ticket aggiornato alle ore 18:10

http://travaux.ovh.net/?do=details&id=49484

https://www.ovh.com/fr/news/presse/cpl1785.incendie-notre-site-strasbourg

Ticket aggiornato alle ore 18:10

http://travaux.ovh.net/?do=details&id=49484

https://www.ovh.com/fr/news/presse/cpl1785.incendie-notre-site-strasbourg

Ercolino buone notizie per il Digital Forum, riavviano SBG4 da Lunedì! :)

https://i.postimg.cc/Xq6LQZvb/Schermata-2021-03-13-alle-19-03-06.png

https://i.postimg.cc/760dHrGq/Schermata-2021-03-13-alle-19-05-33.png
https://i.postimg.cc/wTv2Fdq3/Schermata-2021-03-13-alle-19-06-20.png

A me hanno appena scritto, le mie 3 VPS non sono recuperabili. Mi daranno 6 mesi gratis ma non me ne faccio nulla, sono tornato online nello stesso giorno dell'incendio con una VPS da un altro fornitore. Non avevo backup su OVH, solo su Amazon S3.

Ercolino buone notizie per il Digital Forum, riavviano SBG4 da Lunedì! :)




Il riavvio dei server dice 22 Marzo purtroppo, il 15 iniziano a dare corrente, speriamo sia più veloce la questione.

Tra l'altro prendere un nuovo server dedicato come hanno consigliato, diventa un'impresa, per prima cosa i tempi di consegna sembrano di almeno 3 giorni, poi va tutto nuovamente riconfigurato e soprattutto su tutti i server dedicati hanno tolto tutte le varie opzioni di scelta delle tipologie degli HDD, c'è solo una configurazione con Raid software e non hardware.

A me hanno appena scritto, le mie 3 VPS non sono recuperabili. Mi daranno 6 mesi gratis ma non me ne faccio nulla, sono tornato online nello stesso giorno dell'incendio con una VPS da un altro fornitore. Non avevo backup su OVH, solo su Amazon S3.

Hai fatto bene, soprattutto per chi ha impellenti esigenze di tornare online nel più breve tempo possibile.

Il riavvio dei server dice 22 Marzo purtroppo, il 15 iniziano a dare corrente, speriamo sia più veloce la questione.

Hai ragione, mi sono confuso. Mi sembrava troppo bello. :(

Tra l'altro prendere un nuovo server dedicato come hanno consigliato, diventa un'impresa, per prima cosa i tempi di consegna sembrano di almeno 3 giorni, poi va tutto nuovamente riconfigurato e soprattutto su tutti i server dedicati hanno tolto tutte le varie opzioni di scelta delle tipologie degli HDD, c'è solo una configurazione con Raid software e non hardware.

Penso sia un loro disperato tentativo per tenersi i clienti. Ma chi poteva se ne già andato con i backup altrove. Ognuno ovviamente fa le sue valutazioni.

Si infatti.

Abbiamo comunque appena messo un redirect, cosi almeno chi tenda di andare sul forum, finisce direttamente sul nostro portale e sull'avviso.

Speriamo che i tempi siano più brevi di quanto hanno scritto.

@ercolino, per curiosità se eri su SBG1 o SBG2 cosa avresti fatto? Hai dei backup? Con ovh o esterni?

Non conosco il tuo forum e non so che numeri fai, pure io gestisco un paio di forum (come numeri indicativi direi DB 1G, allegati 12GB per il primo forum, l'altro è un po' più piccolo) e attualmente ho i backup solo dal fornitore della VPS (Hetzner). Dovrei implementare qualcosa anche sulla mia VPS.

@ercolino, per curiosità se eri su SBG1 o SBG2 cosa avresti fatto? Hai dei backup? Con ovh o esterni?

Non conosco il tuo forum e non so che numeri fai, pure io gestisco un paio di forum (come numeri indicativi direi DB 1G, allegati 12GB per il primo forum, l'altro è un po' più piccolo) e attualmente ho i backup solo dal fornitore della VPS (Hetzner). Dovrei implementare qualcosa anche sulla mia VPS.

Sicuramente ci saremo mossi diversamente ;)

Purtroppo è successo anche in una settimana che nessuno di noi ha molto tempo o è incasinato per altri motivi.

Abbiamo backup con OVH a RBX.

In ogni caso dopo questa cosa che mai nessuno avrebbe immaginato, ci muoveremo anche in modo diverso con i backup.

Siamo li da 9 anni

E' già qualcosa se avete i backup, c'è molta gente che non aveva i backup, da quello che sono riuscito a leggere nei commenti su Twitter.

Hai fatto bene, soprattutto per chi ha impellenti esigenze di tornare online nel più breve tempo possibile.
essendo siti aziendali non potevo aspettare.


Penso sia un loro disperato tentativo per tenersi i clienti. Ma chi poteva se ne già andato con i backup altrove. Ognuno ovviamente fa le sue valutazioni.
Sinceramente non so cosa fare, tutto sommato mi sono trovato bene con OVH, le VPS hanno circa 5 anni e sono già pagate fino alla fine dell'anno. Mi dispiace un po' per le configurazioni e le ottimizzazioni fatte su queste VPS, queste sono andate perse. Se riuscivano a ripristinarle sarei tornato da loro senza pensarci due volte. Inoltre OVH offre anche degli IP dedicati, cosa che non tutti offrono, potevo scegliere la locazione degli indirizzi IP e mi tornavano comodi.

Aggiornamenti di questa domenica:

Per ora prima del 22 marzo non se ne parla.

https://i.postimg.cc/PrgydY8w/Schermata-2021-03-14-alle-17-47-49.png

https://i.postimg.cc/bdcnf0FY/Schermata-2021-03-14-alle-17-52-29.png

https://dday.it/redazione/38842/incendio-datacenter-ovh-ecco-cosa-si-e-salvato-e-cosa-no

https://i.postimg.cc/BnRTgMtT/1.png

scusate, ma sopra leggo sullo stato dei dati, anche di:

- Internal backup (non contractual)

ma che vor dì? cioè c'era un backup non previsto dal "contratto"?

:fagianissimo: :D ...D ...D

Si sta muovendo qualcosa per Digital-forum??

https://i.postimg.cc/3Whcp3X6/digital-forum.png (https://postimg.cc/3Whcp3X6)

Si sta muovendo qualcosa per Digital-forum??

https://i.postimg.cc/3Whcp3X6/digital-forum.png (https://postimg.cc/3Whcp3X6)

https://ibb.co/MRM356w

Si sta muovendo qualcosa per Digital-forum??




Dobbiamo solo aspettare che riattivino SBG4. Trovi tutti i dettagli sul portale

Stanno lavorando velocemente per ripristinare tutti i servizi, si spera per fine settimana di ritornare online


Si può vedere che stanno ripristinando la rete.

Strasburgo è quello centrale collegato anche direttamente con il POP di Milano

http://weathermap.ovh.net/#europe

http://weathermap.ovh.net/#strasbourg_core

Pdf del 2017 che spiega come sono stati progettati i datacenter nei container di OVH:

https://www.fenercom.com/wp-content/uploads/2019/10/2017-05-04-Water-cooling-with-free-cooling-to-have-a-very-low-power-usage-effectiveness-OVH-fenercom.pdf

https://i.postimg.cc/X73Zk0K5/Schermata-2021-03-11-alle-18-57-28.png

Io una volta tanto per scherzare ho fatto un server Atom dentro la scatola di catone della scheda, tutto passivo. E' andato avanti per anni (ora e' in case in metallo ma sempre passivo).

OVH mi ha battuto: hanno fatto la farm dentro a delle lattine con raffreddamento passivo!

Nota: io sono in SBG3.

scusate, ma sopra leggo sullo stato dei dati, anche di:

- Internal backup (non contractual)

ma che vor dì? cioè c'era un backup non previsto dal "contratto"?

...
immagino abbiano fatto (offerto?) il backup dei dati che non sono andati persi, ma se così non sarebbero stati già resi disponibili? :boh:

Nuovo bollettino delle 13 di oggi



1/4 Potenza SBG1 / 3/4:
20KV: OK
Trasfomatori: OK
Distribuzione elettrica bassa tensione: OK
UPS: OK
Fusibili: OK
Andiamo!! :)
Rete: Abbiamo riavviato la rete in SBG3. Dobbiamo ricostruire una parte della rete interna distrutta in SBG2. Abbiamo riavviato il primo rack in SBG1. Funziona bene. Continueremo.

2/4 Pulizia dei server: Abbiamo testato i server in SBG3: 1/3 di loro devono essere puliti. 2/3 può essere riavviato al più presto. La pulizia richiede 12-16 ore per server. Lo eseguiremo su tutti e 5 i piani, in parallelo. I test iniziano adesso.

3/4 Dobbiamo lavorare sulla rete in SBG4. Stiamo cercando un processo speciale per ripulire i server in SBG1 / 61E-62E. Alcuni server in SBG3 / Piano 5 presentano lo stesso problema.

4/4 Per riavviare pCC / HPC, abbiamo bisogno del pCC-Master che gestisce vSphere. 1/3 sono presenti, 2/3 devono essere ricostruiti. È un processo lungo che stiamo cercando di accelerare. Per riavviare OpenStack, dobbiamo ricostruire il piano di controllo del sistema operativo: <24 ore.

ma se sbg4 non e' stata intaccata dall'incendio come mai non e' ancora operativa ?

ma se sbg4 non e' stata intaccata dall'incendio come mai non e' ancora operativa ?

Perché è saltata tutta la rete del data center assieme alla distribuzione elettrica e agli UPS.

SBG1

Il primo rack con i server dei clienti è SU!

Perché è saltata tutta la rete del data center assieme alla distribuzione elettrica e agli UPS.

si ma suona strano che sia UP prima quello che resta di sbg1 piuttosto che sbg4

va beh attendiamo..

si ma suona strano che sia UP prima quello che resta di sbg1 piuttosto che sbg4

va beh attendiamo..

Dobbiamo attendere

Ecco i rack che stanno andando su a SGB1

http://status.ovh.it/vms/index_sbg1.html

si ma suona strano che sia UP prima quello che resta di sbg1 piuttosto che sbg4

va beh attendiamo..

Avranno le loro motivazioni che noi non sappiamo. E' nel loro interesse riattivare tutto nel più breve tempo possibile.

Hanno appena attivato i due Switch di rete dove é collegato anche il nostro server dedicato in SBG4

Ora dobbiamo aspettare l'accensione del server :)

Sì.

http://uploads.disquscdn.com/images/a909a60ac16539a322c7b78b9231be9f29d4b6804aca17300e6ce2d0e8932e64.png

Siamo finalmente tornati online 30 minuti fa

:) :) :) :) :) :) :)

Non si è ancora capito se sono riusciti a capire quanto, escludendo i loro backup e le macchine che pur bruciate, ma non contenenti dati, sia effettivamente andato perso.

Siamo finalmente tornati online 30 minuti fa

:) :) :) :) :) :) :)


CHE SORPRESA!!!! :) :) :)

Stavo sclerando :)

Senza parole.

1)We shutdown SBG1+SBG4. We need verify SBG1

2)We keep SBG1+SBG4 down this night. We will restart it tomorrow afternoon.

3)We had the smoke in an unused room in SBG1. We shutdown SBG1+SBG4 & we called the firefighters to identify the root cause. The firefighter stopped the smoke which came from the batteries that we don’t use. More info tomorrow. We stop the operation this night.


Agenzia stampa

https://www.lalsace.fr/faits-divers-justice/2021/03/19/nouvel-incendie-chez-ovh

Non ho parole...

Octave Klaba intanto ha chiuso l'account su Twitter...

Non ho parole...

Octave Klaba intanto ha chiuso l'account su Twitter...

In che senso chiuso?

https://twitter.com/olesovhcom

Stanno scrivendo regolarmente

In che senso chiuso?

https://twitter.com/olesovhcom

Stanno scrivendo regolarmente

non l'ha chiuso, c'è come sempre.

Si infatti ed ha anche comunicato alle 10:30

SBG1/SBG4:
We don’t plan to restart SBG1 today. We want to remove all what is not needed. In parallel, we are working on the optional plan to move physically the servers from SBG1/4 to RBX.

SBG3:
We are restarting the operations in 1 hour.

Stanno gestendo la cosa proprio a capodi....

In che senso chiuso?

https://twitter.com/olesovhcom

Stanno scrivendo regolarmente

non l'ha chiuso, c'è come sempre.

Quando ho guardato io alle 9:42 l'account era chiuso. Evidentemente poi l'ha riaperto.

Comunicato di Octave ore 15:30

SBG1:
We don’t plan to restart SBG1. Ever.
Servers in 61A/D+62A/D will be moved to SBG4.
Servers in 61E/62E will be moved to Croix and clean up then restart in RBX/GRA.

SBG4:
Working on the power + the network from SBG3. Then we restart SBG4.

SBG3:
60 tech works in the DC. we clean up the servers & we restart.
All the authorities (firefighters, préfet, police, insurances, experts, etc) are very supportive and understand the importance of restarting DCs. Everybody is doing the best. Thanks

Comunque trattasi di un complesso bruciacchiato, a me basterebbe che mi mandassero su' per un giorno per poter fare un paio di controlli e poi spostare la mia VPS altrove, as in an other datacenter.

Cioe' non ci piove che a Strasburgo ci saranno casini ricorrenti per 6 mesi: e' un complesso bruciacchiato!

Diciamo che una volta che elimini completamente SBG1 e SBG2 il resto dovrebbe essere Ok.

SBG3 è indipendente dagli altri 2 e SBG4 verrà alimentato e messo sotto rete di SGB3 (Sicuramente SBG4 verrà poi dismesso, cosa che era già comunque prevista da tempo assieme a SBG1)

Vediamo ora quando rialimentano SBG4

Nuovo comunicato OVH delle 18:00

SBG3:
More racks are UP. 60 simu tech working in SBG3. 24/24. 2 companies, expert in cleaning the servers after the fire, helping us.

SBG4
A new power cable will be connected from SBG3 to SBG4.

SBG1:
working on plan to move the servers to RBX/GRA + SBG4.

Cioe' non ci piove che a Strasburgo ci saranno casini ricorrenti per 6 mesi: e' un complesso bruciacchiato!

Poco ma sicuro.


SBG4
A new power cable will be connected from SBG3 to SBG4.


Ah ok, giusto per riaccenderlo. :doh:

Comunicato OVH ore 20

SBG-1
- Situation : Datacentre switched off and secured.
- Network restart : Switched off as a precaution
- Server restart : Replacement of infrastructure in other datacentres: Gravelines (GRA), Roubaix (RBX) and Strasbourg (SBG4).
-----
SBG-2
- Situation : Building out of use. Structural expertise carried out. Site secured
- Server restart : Infrastructure replacement in other data centres Gravelines (GRA), Roubaix (RBX), London (LON), Warsaw (WAW),Frankfurt (FRA)
-----
SBG-3
- Situation : Datacentre operational
- Electrical restart : Accomplished
- Network restart : Accomplished
- Server restart : The teams are still working to restart the services. http://status.ovh.it/vms/index_sbg3.html
-----
SBG-4
- Situation : Datacentre operational but currently switched off and secured as a precautionary measure.
- Electrical restart : Power supply work in progress
- Network restart : Switched off as a precaution
- Server restart : We are devising a restart scenario, with security as our primary concern. http://status.ovh.it/vms/index_sbg4.html

Whoot la mia VPS su SBG3 e' tornata on line.

Rsync goes brrrr!

Noi purtroppo dobbiamo ancora aspettare per il nostro server dedicato in SBG4.

Nuovo comunicato di OVH del 21/03/2021 ore 20:15

SBG1
- Situazione: ispezione e perizia in corso.
- Riavvio della rete: interrotta per precauzione
- Riavvio dei server: trasferimento dei server ad altri data center: Gravelines (GRA), Roubaix (RBX) e Strasburgo (SBG4) per il ritorno in servizio.

SBG2
- Situazione: data center chiuso e protetto.
- Riavvio del server: sostituzione dell'infrastruttura su altri data center: Gravelines (GRA), Roubaix (RBX), Londra (LON), Varsavia (WAW), Francoforte (FRA)

SBG3
- Situazione: datacenter operativo.
- Riavvio elettrico: completato
- Riavvio della rete: completato
- Riavvio dei server: i servizi Bare Metal di VPS hanno iniziato a essere ripristinati. I servizi Hosted Private Cloud e Public Cloud verranno gradualmente ripristinati da domani

SBG4
- Situazione: dopo l'ispezione e verifica, questo datacenter tornerà in servizio mercoledì 24 marzo.
- Riavvio elettrico: riattivazione in corso.
- Riavvio della rete: interrotta per precauzione
- Riavvio dei server: ETA: mercoledì 24 marzo.

Come mai non si è mosso più nulla?

Come mai non si è mosso più nulla?

Ci sono stati altri aggiornamenti non più riportati qui perché la discussione sta andando a morire. Entro oggi/domani comunque SBG4 verrà rispristinato.

Come mai non si è mosso più nulla?

Tutti gli aggiornamenti li ho messi sul nostro portale, uno poco fa.

SBG4 è stato rialimentato un paio di ore fa, come anche la rete.
Gli Switch di rete sono UP, ora bisogna aspettare che riaccendano i server.

Finalmente! Da ieri sera il forum ha ripreso a funzionare :)