Sistema per grosse mole di dati, editing video più backup, HELP!

[Tasslehoff]

Originariamente inviato da maxb

Ma perché consideri la TB come poco affidabile? Capisco la usb3 ma la TB ne parano come una rivoluzione per chi fa il mio lavoro..
Grazie!

Beh forse ne parlano come una rivoluzione perchè di fatto viene usata solo su Mac, dove di alternative non ce ne sono

[PhoEniX-VooDoo]

E' una rivoluzione perche ti permette di arrivare a 10 (o 20) Gbit/s, che non mi sembrano tanto male. Inoltre e' possibile usare n dispositivi TB in catena.
L'alternativa e' l'USB 3.0 (5Gbit/s)

[Tasslehoff]

Originariamente inviato da PhoEniX-VooDoo

E' una rivoluzione perche ti permette di arrivare a 10 (o 20) Gbit/s, che non mi sembrano tanto male. Inoltre e' possibile usare n dispositivi TB in catena.
L'alternativa e' l'USB 3.0 (5Gbit/s)

Su questo non discuto, però l'aspetto prestazionale è solo uno egli aspetti da considerare, e in molti casi il meno importante.

[eimer]

x il costo che hanno nell'usato io mi butterei direttamente su infiniband ...

[maxb]

infiniband.. andiamo sul difficile!

per ora lascio in stand-by.. devo cambiare troppi pezzi.. voglio capire un attimo il costo del tutto che non è basso in ogni caso..
vi aggiorno

[PhoEniX-VooDoo]

Originariamente inviato da eimer

x il costo che hanno nell'usato io mi butterei direttamente su infiniband ...

ib su mac?

[eimer]

ib x mac ??? oppssss ... c'erano dei driver x i G5 , mi sembra di capire che ci sia gran poco ... basta cambiare sistema e si risolve

[AMD_Edo]

Se hai bisogno di tanta banda passante per i trasferimenti potresti orientarti anche su fibre channel, ci sono diverse schede supportate da Apple (qui troverai qualche informazione).

Ti consiglierei inoltre di valutare attentamente i dischi, finora i piú affidabili che mi sono capitati sono stati gli Hitachi Ultrastar 7K4000. In facoltá abbiamo un file system distribuito da oltre 800 TB (con ridondanza) e fino ad ora nessuno degli Hitachi ci ha "tradito" (al contrario di WD e ancor di piú Seagate).

[Tasslehoff]

Originariamente inviato da AMD_Edo

Ti consiglierei inoltre di valutare attentamente i dischi, finora i piú affidabili che mi sono capitati sono stati gli Hitachi Ultrastar 7K4000. In facoltá abbiamo un file system distribuito da oltre 800 TB (con ridondanza) e fino ad ora nessuno degli Hitachi ci ha "tradito" (al contrario di WD e ancor di piú Seagate).

Pare che anche le statistiche di Backblaze confermino questa tendenza (con 78427 TB di storage ) --> http://blog.backblaze.com/2014/01/21...-should-i-buy/

[AMD_Edo]

Originariamente inviato da Tasslehoff

Pare che anche le statistiche di Backblaze confermino questa tendenza (con 78427 TB di storage ) --> http://blog.backblaze.com/2014/01/21...-should-i-buy/

Avevo giá letto quell'articolo e in linea di massima rispecchia quanto succede da me (anche se in scala minore... per il momento siamo solo a quota 880TB di storage ma devo espandere la struttura con altri 6 nodi). Differentemente da loro putroppo non possiamo usare dischi "consumer" perchè non garantiscono la stessa capacitá di trasferimento dati di cui abbiamo bisongo...

[maxb]

Originariamente inviato da AMD_Edo

Ti consiglierei inoltre di valutare attentamente i dischi, finora i piú affidabili che mi sono capitati sono stati gli Hitachi Ultrastar 7K4000.

Stava valutando gli Hotachi che dici e i WD RED 4TB ( WD40EFRX )..
c'è una differenza di 100 euro a disco..dovendo prenderne 8 è una bella spesa... vale la pena?

Se lavoro con RAID 5 su 8 dischi, quanti se ne possono guastare senza perdere tutto?

[PhoEniX-VooDoo]

Originariamente inviato da maxb

Stava valutando gli Hotachi che dici e i WD RED 4TB ( WD40EFRX )..
c'è una differenza di 100 euro a disco..dovendo prenderne 8 è una bella spesa... vale la pena?

Se lavoro con RAID 5 su 8 dischi, quanti se ne possono guastare senza perdere tutto?

sempre 1.
se hai tanti dischi puoi usarne uno in hot spare (e un disco inattivo che entra in funzione quando se ne rompe uno) oppure puoi fare un RAID6 dove la parity e su 2 dischi quindi puoi perderne 2..

[maxb]

ok... su 8 dischi da 4TB solo 1 di "tampone" mi sembra un pò rischioso..
con il RAID 6 avrei la stessa velocità del 5?
Mi sembrava di aver letto che il 6 era un pò complicato epr il sistema, nel senso che deve scrivere molte cose..
Questo hot spare lo posso fare con il sitema che prendo (scritto qui sotto) ?
cosa è meglio?
So che probabilmente la cosa migliore sarebbe il 10 ma dimezzare i dischi è un pò troppo..
Cmq ho deciso per il http://www.areca.com.tw/products/thunderbolt2.htm
che mi sembra piuttosto robusto come sistema e ad un costo accettabile.

[Tasslehoff]

Originariamente inviato da maxb

ok... su 8 dischi da 4TB solo 1 di "tampone" mi sembra un pò rischioso..
con il RAID 6 avrei la stessa velocità del 5?

Assolutamente no, a parità di unità un array con doppia parità (RAID6) avrà performance sempre inferiori rispetto ad un array a parità singola, soprattutto in scrittura.
Tieni presente che l'unità hot spare serve per far partire subito la rebuild, aumenta il margine che puoi prenderti per sostituire l'unità guasta, non serve per altro.

Un unico array raid5 o 6 con tutti quei dischi e di quella dimensione?
Fai come preferisci ma io non lo farei nemmeno con una pistola puntata alla tempia...
Anzitutto i tempi di rebuild saranno geologici vista la dimensione dei dischi (SATA poi, quindi con scarsissime peformance soprattutto durante attività concorrenti, tipico scenario da rebuild con array online), poi con una unità logica così esageramente grande il rischio di un errore irreversibile in lettura durante la rebuild è tangibile, il risultato è un volume totalmente perso.
Ne vale la pena?

Piuttosto crea diversi array da 2(RAID1) o 3(RAID5 se proprio ci tieni) dischi, e usa un singolo disco di hot spare condiviso tra tutti gli array.

Io non capisco una cosa però, perdonami.
Dal punto di vista economico la soluzione che hai scelto è estremamente costosa (circa 1800€ per l'enclosure Areca, a cui sommare 1200 euro per 8 dischi da 4TB)
Dal punto di vista dell'affidabilità è piuttosto criticabile sia per l'interfaccia (direct attach storage tramite connessione plug and play Thunderbolt? Abbiamo avuto tutti le nostre esperienza con trasferimenti di file falliti a causa di disconnessioni...) che per i supporti (un normalissimo filesystem su dei normalissimi dischi in raid suscettibili di ogni possibile problema fisico - e livello di singolo blocco - che logico - a livello di filesystem, voglio proprio vederlo un fsck su un volume da 24-28TB), non è trasportabile e ha una scalabilità pressochè inesistente (esauriti quei 24-28TB che fai? Ne compri un altro e trasformi casa in un datacenter con decine di dischi ronzanti?), in più presenta anche dei costi non indifferenti di manutenzione (i dischi che andranno in fail dovranno per forza essere sostituiti).

Insomma a me sembra un rischio sotto quasi ogni punto di vista.
Potrà sembrarti una soluzione comoda e veloce, ma imho presenta più ombre che luci.

Scusami se ribadisco quello che ho già espresso prima, non è mia intenzione (ne il mio lavoro) venderti un LTO , è solo la soluzione imho ideale nel tuo caso (che infatti si è imposta come standard proprio nell'ambito in cui operi).
In quel caso spenderesti meno (1300€ per il drive LTO6 + 1200€ circa per il box SAS-Thunderbolt), avresti un supporto più durevole e affidabile (15-20 anni come minimo), scalabile all'infinito (puoi comprare quante cassette vuoi, 2,5TB l'una non compressi), con una maggiore affidabilità (un filesystem e dei supporti pensati e progettati per l'archiviazione massiva di lungo periodo) e non dovresti fare praticamente nessuna manutenzione.

[maxb]

Ciao Tasslehoff,
aprezzo il tuo sforzo e infatti stò valutando ancora di nuovo per l'ennesima volta..
ma considerando i costi:
la scheda mini-sas da circa 300 euro
l'adattatore per mettercela e collegarla al mac circa 850 euro
il lettore LTO6 circa 1300 euro

Questo sistema va benissimo però solo per archivio.. nel video editing capita che anche dopo 3 anni ti chiedano di mettere mano ad un progetto.. e che faccio?

Dovrei avere cmq i dischi thunderbolt + backup per un accesso veloce al materiale...

Le cassette come sistema sono bellissime ma credo possano essere utili più che altro per salvare il montato definitivo e il girato.

La vedo più come una precauzione in più, più che l'utilità giornaliera...

Ho cmq bisogno di un accesso veloce al materiale, perchè il materiale di archivio cmq viene ripescato anche dopo anni.. e con un tape come farei? sarebbe molto lungo il recupero e quindi alla fien dovrei avere una copia hard disk e una tape..
o no? che dici?

insomma se fossero pezzi musicali finiti, foto ok..per il video dove ci sono grosse moli di dati non lo so..

[PhoEniX-VooDoo]

hai dato un occhiata a Drobo, al modello 5D in particolare? http://www.drobo.com/storage-products/5d/

implementa un sistema RAID che loro chiamano "BeyondRAID" il quale permette di smarcarti da alcuni vincoli sull'espandibilita' e lo spazio disponibile.

Come capacita' permette di installare 5 dischi da 3.5" ed un SSD su mSATA

Ha 2 porte TB che puoi usare anche in daisy chain su Mac OSX, eventualmente.

[maxb]

buongiorno..
aggiorno la situazione!
allora alla fine ho optato per il sistema di editing collegato ad Areca 8050T2 (thunderbold2) via TB in RAID 5 con dischi hitachi, ho poi messo un synology 1813+ in rete (per ora attaccato al router) e che quindi è in rete con mac via wifi...
Ora volevo fare qualche prova per collegare via cavo.. ho il problema che il router è in una stanza (non posso spostarlo perché è l'hug fastweb) e il sistema di editing in un'altra e un cavo volante non è il massimo..
qual è il modo più veloce per copiare dati tra l'areca (dischi TB collegati a mac) e il synology).. ho collegato il synology all'areca ma non lo vede..e voi direte..ovvio.. per me non lo era..ora devo provare a collegarlo al mac e vedere se è tutto nella stessa rete.. è giusto così?
grazie!
il synology è molto bello, ha una marea di funzioni e praticamente un computer... chissà mai se le userò anche al 10% !!!

[maxb]

Ciao a tutti,
rieccomi qui dopo neppure un anno e mezzo..
la mole di dati aumenta e ho bisogno di rivedere la situazione nel lungo termine:
Per non farvi leggere tutti i post indietro ricapitolo:
Mi occupo di video-editing su MAC
Con l'avvento del raw 4K la mole di dati è diventata elevatissima
Ho necessità di organizzare e backupare il materiale così composto:
"hard disk storici" circa 30 tra dischi esterni in case e hard disk nudi che metto in una basetta.
Lavorare e tenere un backup delle lavorazioni recenti (attualmente ho un raid 5 thunderbolt da 28 tb che è quasi esaurito (mancano 6 TB circa)
Ho calettato la via dell'LTO6 ma poi non approfondita per costi e gestione ma forse da rivedere.

Il punti cruciali per me sono recuperare anche vecchi dati storici in caso di necessità nel giro di una mattinata. Gestire grossi file per editing video e avere un backup aggiornato costante. Oltre ad avere un backup dei sistemi di montaggio (SO).

Essendo da solo in ufficio non ho cifre come un agenzia, ma mi rendo conto che ora ho un bel casino tra tutti i dati divisi tra dischi vari, non catalogati e così via.. vorrei fare una pulizia e riorganizzare il tutto.

Grazie mille per l'aiuto!

[Kaya]

Potresti prendere questo https://www.qnap.com/i/it/product/model.php?II=198 come unita SAN principale ( espandibile con https://www.qnap.com/i/it/product/model.php?II=200 e arrivare in tutto a 448 TB massimi) .
Questo invece https://www.qnap.com/i/it/product/model.php?II=143 per i backup (fai girare dei diff la notte, puoi arrivare fino a 74 Tb, quindi man mano che aumenta la necessità aggiungi dispositivi).

[AMD_Edo]

Originariamente inviato da maxb

Ciao a tutti,
rieccomi qui dopo neppure un anno e mezzo..
la mole di dati aumenta e ho bisogno di rivedere la situazione nel lungo termine:
Per non farvi leggere tutti i post indietro ricapitolo:
Mi occupo di video-editing su MAC
Con l'avvento del raw 4K la mole di dati è diventata elevatissima
Ho necessità di organizzare e backupare il materiale così composto:
"hard disk storici" circa 30 tra dischi esterni in case e hard disk nudi che metto in una basetta.
Lavorare e tenere un backup delle lavorazioni recenti (attualmente ho un raid 5 thunderbolt da 28 tb che è quasi esaurito (mancano 6 TB circa)
Ho calettato la via dell'LTO6 ma poi non approfondita per costi e gestione ma forse da rivedere.

Il punti cruciali per me sono recuperare anche vecchi dati storici in caso di necessità nel giro di una mattinata. Gestire grossi file per editing video e avere un backup aggiornato costante. Oltre ad avere un backup dei sistemi di montaggio (SO).

Essendo da solo in ufficio non ho cifre come un agenzia, ma mi rendo conto che ora ho un bel casino tra tutti i dati divisi tra dischi vari, non catalogati e così via.. vorrei fare una pulizia e riorganizzare il tutto.

Grazie mille per l'aiuto!

Vediamo se ho capito... hai bisogno di uno storage di rete veloce ed estremamente capiente (quanto? 40 - 80 - 120 TB ?) ? Vuoi continuare ad usare Thunderbolt?

Come backup solo nastri magnetici tipo LTO-6.. ogni nastro può contenere 2,5 TB di dati non compressi (e i video assolutamente non sono comprimibili) e la velocitá di trasferimento e di circa 130 - 140 MB al secondo...