Al CERN hanno 1 milione di terabyte di dati, perlopiù salvati su hard disk

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/storag...sk_120654.html

L'archivio dati del CERN ha superato la notevole capacità di un exabyte, ovvero 1 milione di terabyte di spazio su disco. Le informazioni sono salvate su 111.000 dispositivi, prevalentemente hard disk.

Click sul link per visualizzare la notizia.

[Hiei3600]

Sentire numeri come questi mi fa salivare... anyway, mi sa che risparmiano se si costruiscono loro una fabbrica di hard disk a questo punto piuttosto che comprarli

[mail9000it]

Originariamente inviato da Hiei3600

Sentire numeri come questi mi fa salivare... anyway, mi sa che risparmiano se si costruiscono loro una fabbrica di hard disk a questo punto piuttosto che comprarli

A parte gli sconti quantità che possiamo solo sognare il CERN viene anche usato dai produttori come banco di TEST per le loro periferiche.
Difficilmente esistono altri clienti con una tale massa di dati e con la possibilità di avere una tale ridondanza per garantire la sicurezza degli stessi.

Quindi non sarei sorpreso se "alcune" partite fossero vendute a prezzo di costo o anche a meno in cambio dei dati sull'affidabilità dei dischi.

[F1r3st0rm]

ho avuto un exe comapgno di scuola che ci ha lavorato nel settore IT...un giorno mi farò raccontare cosa hanno a disposizone semmai lo ribecco ormai vie in svizzzera e viaggia spesso negli stati uniti

[Qarboz]

Originariamente inviato da Redazione di Hardware Upgrade

l'infrastruttura di storage è stata costruita per essere resiliente, utilizzando diversi metodi di replicazione dei dati.

Non ho capito se questo sistema è usato anche per i backup o li fanno in altro modo (quale? Tonnellate di cassette?)

[virtualdj]

Originariamente inviato da Qarboz

se questo sistema è usato anche per i backup o li fanno in altro modo

Domanda interessante!

Comunque 111.000 dispositivi accesi che se consumassero anche solo 5 W (poco per un HDD) fanno un totale di mezzo megawatt solo per accedere ai dati

[quartz]

Originariamente inviato da Qarboz

Non ho capito se questo sistema è usato anche per i backup o li fanno in altro modo (quale? Tonnellate di cassette?)

Io faccio ricerca radioastronomica e i numeri non sono molto distanti da questi (una singola osservazione di un'ora occupa circa 200 TB).

Una volta fatta l'analisi principale, in molti casi i dati raw si comprimono, perdendo parte dell'informazione ma rendendoli molto più gestibili per il long-term storage.

Per il backup usiamo tape libraries con LTO-8/9.

[WarSide]

Originariamente inviato da mail9000it

A parte gli sconti quantità che possiamo solo sognare il CERN viene anche usato dai produttori come banco di TEST per le loro periferiche.
Difficilmente esistono altri clienti con una tale massa di dati e con la possibilità di avere una tale ridondanza per garantire la sicurezza degli stessi.

Quindi non sarei sorpreso se "alcune" partite fossero vendute a prezzo di costo o anche a meno in cambio dei dati sull'affidabilità dei dischi.

Niente prezzo di costo e non c'è niente da testare. Il cern prende la componentistiche con scontistiche che saranno assimilabili a quelle di una Amazon, Microsoft, Google, IBM, etc etc.

AWS S3 dovrebbe essere il servizio con più HDD utilizzati al mondo. Parliamo di decine e decine di milioni di HDD usati.

Solo snapchat, che è uno dei vari clienti di AWS (sicuramente non il più grande di gran lunga), archivia 2exabyte di dati su AWS S3.

[Qarboz]

Originariamente inviato da quartz

Io faccio ricerca radioastronomica e i numeri non sono molto distanti da questi (una singola osservazione di un'ora occupa circa 200 TB).

Una volta fatta l'analisi principale, in molti casi i dati raw si comprimono, perdendo parte dell'informazione ma rendendoli molto più gestibili per il long-term storage.

Per il backup usiamo tape libraries con LTO-8/9.

WOW (cit.), è un mondo che mi affascina, anche se le mie conoscenze dell'argomento sono tendenti a 0 K... E non avrei mai pensato che per un'ora di osservazione occorra così tanto spazio
Grazie dell'info

[UtenteHD]

Beh, avere i dati salvati su sistemi OFFLINE con scrittura fisica quali HDD, Blu-ray, DVD, ecc.. e' il miglior modo per avere un backup sicuro nei molti decenni.
Solo che tutti sti dati, cosi' tanti, come detto prima, fanno prima a produrli Loro gli HDD..

[frankie]

Non era più figo scrivere

1 EXABYTE (10^18 byte)

[Opteranium]

forse ancora più impressionante è la bandwidth, 1 TERABYTE al secondo

per riempire tutto l'archivio basterebbero "solo" 11 giorni e mezzo

[erupter]

Originariamente inviato da Qarboz

WOW (cit.), è un mondo che mi affascina, anche se le mie conoscenze dell'argomento sono tendenti a 0 K... E non avrei mai pensato che per un'ora di osservazione occorra così tanto spazio
Grazie dell'info

Più di un decennio fa, all'INFN di Frascati (Roma), dove hanno un "piccolo" acceleratore, il Dafne (link)
generavano terabytes in una frazione di secondo, roba che non ho mai capito come la salvavano, non c'erano ancora le SSD da 3GB/s, non lo seppi mai

[Qarboz]

Originariamente inviato da erupter

Più di un decennio fa, all'INFN di Frascati (Roma), dove hanno un "piccolo" acceleratore, il Dafne (link)
generavano terabytes in una frazione di secondo, roba che non ho mai capito come la salvavano, non c'erano ancora le SSD da 3GB/s, non lo seppi mai

Con una buona dose di RAM e un array di HDD (tanti) con un circuito che splitta il flusso dati distribuendolo ai vari dischi, in modo che la velocità dei dati verso ogni unità sia entro le specifiche, dovrebbe essere fattibile, penso... (Pensiero buttato lì da uno piuttosto ignorante in materia...).