WhatsApp, Facebook e Instagram down per oltre 6 ore! Cosa è successo e qual è stata la causa?

[nidecker]

Risoluzione che, secondo le ultime indiscrezioni, sembra sia addirittura arrivata grazie al viaggio di chi sapeva dove mettere le mani nel data center.

[lagunare]

Originariamente inviato da Lanfi

Dal basso della mia ignoranza è proprio questo che mi lascia più stupito. Cioè a leggere la loro nota pare di capire che tutto ciò che riguarda facebook, dal social network vero e proprio al meccanismo che apre la porta della sala server a Menlo Park faccia parte di un unico sistema centralizzato.

Non mi pare una grande idea.

Sai tenere al sicuro cose che non si possono controllare personalmente è sempre difficile…

[Qarboz]

Originariamente inviato da Cfranco

Le modifiche di questo tipo si fanno solo in produzione, non esiste e non può esistere un ambiente di test, e sono puntuali, quindi quando la fai interessa tutto il traffico, non ci sono alternative.

Premetto che sono completamente ignorante in materia, basta dire che fino a mezz'ora fa non sapevo neanche l'esistenza del BGP, e che comunque non ne ho capito lo scopo (farò una qualche ricerca nei prossimi giorni, quando avrò un po' di tempo).
Non è fattibile inserire un sw/script/quel che è che faccia da watchdog? P.es se entro mezz'ora (o comunque un tempo congruo) dalla modifica non riceve nessun input da remoto, anche solo una conferma da un operatore, riporta tutto allo stato precedente della modifica?

Originariamente inviato da Cfranco

Quello però che trovo assurdo è che abbiano legato qualsiasi operatività ai sistemi di Facebook, così se per caso vanno a ramengo non puoi collegarti ai server per sistemare le cose.
In teoria dovrebbe essere previsto un sistema alternativo e slegato per l' accesso proprio nel caso in cui il sistema principale sia down, ma metterlo dietro a una porta che richiede che il sistema sia funzionante non è esattamente una idea brillante.

Anche per me è assurdo... Ok il controllo accessi da remoto, ma un minimo di operatività offline dovrebbero averla, IMHO

[gsorrentino]

Originariamente inviato da Qarboz

Non è fattibile inserire un sw/script/quel che è che faccia da watchdog? P.es se entro mezz'ora (o comunque un tempo congruo) dalla modifica non riceve nessun input da remoto, anche solo una conferma da un operatore, riporta tutto allo stato precedente della modifica?

No perché magari partirebbe anche a fronte di altri malfunzionamenti.
E' possibile tornare indietro, basta ricaricare un backup della configurazione...ma se non ci puoi arrivare da remoto devi andare sul posto e attaccarti con il cavo seriale al dispositivo.

Tempo fa in una sede remota hanno dovuto cambiare la configurazione degli switch e dei router per il collegamento alla sede principale.
Per evitare un caso come questo e, visto che nel ced remoto non funzionavano i cellulari, sono dovuto andare con il portatile, collegare il cavo seriale del dispositivo principale e collegare la presa di rete del PC direttamente al router internet del provider, poi aprire Teamviewer in modo che se fosse saltato tutto dalla sede potessero arrivare agli switch.

Originariamente inviato da Qarboz

Anche per me è assurdo... Ok il controllo accessi da remoto, ma un minimo di operatività offline dovrebbero averla, IMHO

Normalmente solo sul PC, perché se l'autentica della rete/dominio (che nelle grandi rete prevede tutta una serie di protocolli e certificati) è fuori uso non vai da nessuna altra parte.

[Qarboz]

Originariamente inviato da gsorrentino

No perché magari partirebbe anche a fronte di altri malfunzionamenti.
E' possibile tornare indietro, basta ricaricare un backup della configurazione...ma se non ci puoi arrivare da remoto devi andare sul posto e attaccarti con il cavo seriale al dispositivo.

Intendevo una cosa un po' diversa, e cioè un watchdog che viene attivato dall'operatore quando scarica un aggiornamento, e se questo va a buon fine viene disattivato sempre dall'operatore. Ma se ci sono dei problemi che rendono impossibile raggiungere la macchina (come in questo caso), scaduto il tempo del watchdog viene ripristinata la situazione precedente. Ripeto che non sono un sistemista, ma credo sia possibile implementare routine che facciano questo.

Originariamente inviato da gsorrentino

Normalmente solo sul PC, perché se l'autentica della rete/dominio (che nelle grandi rete prevede tutta una serie di protocolli e certificati) è fuori uso non vai da nessuna altra parte.

Intendevo il controllo degli accessi fisici ai locali dei server, che sia tramite badge, PIN, lettori biometrici, ecc. IMHO dovrebbero avere in memoria una serie di codici autorizzati attivi anche (o solo) in mancanza di connettività

[mrk-cj94]

Originariamente inviato da aqua84

va bè dai...
alla fine sono state appena 6 ore, e parliamo di Facebook/Instagram/Whatsapp, non di blackout totale degli ospedali a livello mondiale!

per carità ci avrà magari rimesso qualcosa Zuckerberg e qualcun altro, ma il resto del mondo non credo abbia patito piu di tanto. (anzi)

che dire, tutta esperienza.
sicuramente gli servirà di lezione per cambiare alcune cose e non ripeterlo nuovamente.

whatsapp viene usato anche dalle aziende (whatsapp business anyone?) per comunicazioni coi clienti o anche interne..

"si può sempre fare una telefonata o mandare un sms" non è una soluzione, certi clienti han provato a scriverti senza successo e hai perso delle vendite (per colpe loro e di zuck ovviamente, però i numeri ne risentono)

[gsorrentino]

Originariamente inviato da Qarboz

Intendevo una cosa un po' diversa, e cioè un watchdog che viene attivato dall'operatore quando scarica un aggiornamento, e se questo va a buon fine viene disattivato sempre dall'operatore. Ma se ci sono dei problemi che rendono impossibile raggiungere la macchina (come in questo caso), scaduto il tempo del watchdog viene ripristinata la situazione precedente. Ripeto che non sono un sistemista, ma credo sia possibile implementare routine che facciano questo.

Il problema potrebbe nascere anche qualche ora dopo.
A quel punto il watchdog non ci sarebbe.

Intendevo il controllo degli accessi fisici ai locali dei server, che sia tramite badge, PIN, lettori biometrici, ecc. IMHO dovrebbero avere in memoria una serie di codici autorizzati attivi anche (o solo) in mancanza di connettività

Sui sistemi più terra terra è come dici.
Paradossalmente più il sistema è sicuro più questo non può essere.
Esempio: Non devo più avere accesso, ma nel frattempo ho scollegato il sistema. In questo caso il mio badge, pur essendo annullato, mi permetterebbe di entrare e fare danni.

Di norma si lascia una specie di accesso speciale, ma che appunto essendo molto speciale è in mano ad una sola persona o protetto da altri sistemi
(ad esempio un badge speciale protetto in una cassaforte con doppio codice di apertura in mano a due persone distinte).