Consiglio Server per Storage

[funkman733]

Salve, sono il titolare di un'azienda di produzioni multimediali, e fino ad oggi, per lo storage di archivio di foto e video, ho usato il raid 1 della scheda madre per gli hdd da riempire, per quelli pieni invece dei box usb esterni.

Ora, siccome il materiale di archivio mi serve che sia sempre accessibile, ho quasi ultimato le lettere di unità messe a disposizione da windows, e sto seriamente pensando di investire in un server dedicato allo storage che permetta raid 1 e che permetta di alloggiare più di di 20 hdd o più di 40Tb.

Siccome sono ignorante in materia, chiedo aiuto a voi, su quale soluzione direzionarmi, ed eventualmente, se la migliore soluzione fosse assemblare tutto da me, quali componenti utilizzare.

Grazie.

[teo180]

Cacchio, hai a che fare con un tot di dati.
Che tagli di Hdd usi?

[funkman733]

Originariamente inviato da teo180

Cacchio, hai a che fare con un tot di dati.
Che tagli di Hdd usi?

Purtroppo si, non immaginavo mai di arrivare a tanto...

Al momento ho 13HDD +13HDD in raid 1 in tagli da 2TB e 3TB. Data la precarietà del mio sistema mi trovo meglio con gli HDD da 2TB, perchè una volta che gli HDD si riempiono sciolgo il Raid e conservo la copia in posto sicuro, ma con gli HDD da 3TB, quando vado a sciogliere il Raid devo per forza andare a ricostruire il filesystem, o recuperare i dati con software speciali, perchè altrimenti il sistema li rileva come dischi da formattare.

Siccome vorrei che l'archivio fosse raggiungibile da più computer della rete aziendale, e avere la possibilità di utilizzare HDD più capienti con implementazione di spazio aggiungendo HDD, senza saturare le lettere di unità, sto pensando ad un sistema di server storage (non credo che i NAS mi permettano di fare ciò di cui ho bisogno), ma sono molto ignorante in materia.

Assemblo pc, ma di grande storage, server, nas, e rete aziendale, ne capisco veramente poco!!!

[mmiat]

secondo me ti conviene 2 NAS da 12-16 baie ciascuno, usi il primo per i dati e il secondo come backup del primo

[Kaya]

A te credo serva un prodotto tipo questo:
https://www.qnap.com/i/it/product/model.php?II=205
Costa un po ma è espandibile in maniera notevole.

[mmiat]

cerca un NAS che possa avere più enclosure: https://www.qnap.com/i/it/product_x_selector/

[funkman733]

Sto guardando un NAS da 12 baie + espansione di altre 12 baie, e non credo si possano incrementare ulteriori baie e questo è nel tempo un limite e un costo. I link dei dispositivi sono:
1- https://www.amazon.it/QNAP-TS-1263U-...words=TS-1263U
2- https://www.amazon.it/QNAP-UX-1200U-...ds=UX-1200U-RP

Dati i costi, e la prospettiva, credo che un server sia più efficace... Il server potrei anche assemblarlo da solo, ma oltre la componentistica del computer vero e proprio non so cosa altro bisogna integrare....

[funkman733]

Cercando ancora in giro ho trovato questo, che credo all'inizio possa fare al caso mio, anche se il costo è alto, ma in prospettiva non poi così disendioso:
https://www.amazon.it/QNAP-TVS-EC248...480U-SAS-RP+R2

e supporta fino a 8 moduli di https://www.amazon.it/QNAP-REXP-1220...=REXP-1220U-RP

Voi che dite?

[Tasslehoff]

Io ti consiglio di valutare seriamente se hai davvero bisogno di rendere accessibili tutti quei dati costantemente, oppure se è una remota possibilità e invece i dati realmente utili e che devono essere accessibili sono pochi TB (1-4) gestibili con un semplice array raid 1.

La criticità hw imho non esiste, è banale, prendi una macchina con più controller e un sacco di slot da 3.5" e sei a posto, prendi un nas molto capiente, oppure portando all'estremo prendi uno Storage Pod in stile Backblaze (https://www.backblaze.com/b2/storage-pod.html).

La vera domanda da porsi è: quanto è affidabile una soluzione del genere?
O in altri termini, quando si verificherà un guasto (attenzione, non "se" ma "quando") cosa farai?
Un chkdsk su decine e decine di TB o più in caso di errori sul filesystem?
Una rebuild da decine di dischi in caso di guasto hardware?

Una soluzione del genere è fragile a prescindere e come ti insegna la tua stessa esperienza è poco scalabile o lo è a costi molto elevati (sia materiali che di manutenzione, e più scali e più diventa fragile e difficile da manutenere).

Imho sbagli approccio, dovresti scindere le necessità reali di accesso immediato ai dati (che deve essere backuppabile) dall'archivio (che deve avere affidabilità di ordini di grandezza superiori rispetto al repository dei dati ad accesso immediato).
Per la prima casistica un nas opportunamente dimensionato può andare bene, per la seconda esistono le tape libraries, fai un investimento hw iniziale e poi scalare ti costa relativamente poco e hai una flessibilità molto maggiore oltre a una affidabilità di altro livello.

Se le esigenze di archivio fossero limitate a pochi TB ti direi di puntare ad un semplice drive LTO, ma viste le dimensione imho una tape library midrange (magari con pochi drive LTO, chessò 1 o 2 ma con una buona espandibilità in termini di tape LTO) potrebbe essere la soluzione ideale.
Va da se che con strumenti del genere ti devi scordare il copia e incolla di file e directory, per archiviare dovresti usare software dedicati su cui dovresti formarti, ma imho ne varrebbe assolutamente la pena.

[stef07]

Quotando in tutto per tutto Tasslehoff, comunque in Windows non sei limitato alle lettere, ma puoi usare anche i mount point :-)
E da Win 2012 il chkdsk è online .

[funkman733]

Per essere ancora più chiaro, effettivamente non ho bisogno che i dati siano sempre reperibili, ma a volte capita che per montare un video vado a prendere immagini dello stesso luogo registrate in periodi diversi e quindi presenti un po' in tutti gli hdd dell'archivio.

Poi, ogni hdd deve necessariamente essere legato ad una lettera e che sia sempre quella, perchè quando ho necessità di aprire vecchi progetti, i dati devono essere reperibili subito dal software di montaggio, altrimenti diventa uno sbattimento anche per me ricordare in quel hdd sono memorizzati i file richiesti... Ecco perchè, per mia forse ignoranza, temo il limite delle lettere per unità...

Riguardo al mount point non ne so nulla, dove posso trovare qualcosa di approfondito per capirne di più?

Il Raid 10 l'ho usato una sola volta per 2 anni, poi ho deciso di adoperare solo il Raid 1 perchè più semplice da gestire anche per il recupero dei dati.

Cosa sono le tape library midrange con drive LTO? Dove posso trovare info dettagliate e chiare?

[funkman733]

Originariamente inviato da stef07

Quotando in tutto per tutto Tasslehoff, comunque in Windows non sei limitato alle lettere, ma puoi usare anche i mount point :-)
E da Win 2012 il chkdsk è online .

Sono riuscito ad abilitare gli hdd con i mount point... che figata, così non c'è limite!!!! Grandioso!!!!!

[Tasslehoff]

Originariamente inviato da funkman733

Cosa sono le tape library midrange con drive LTO? Dove posso trovare info dettagliate e chiare?

Puoi cominciare a reperire informazioni dalle sezioni dei principali produttori (IBM, HP, Dell, EMC2) dedicate allo storage e all'archiviazione, es http://www-03.ibm.com/systems/it/storage/tape/

Gli LTO sono gli eredi dei vecchi nastri, sono cassette con dei nastri ad alta capacità che vengono scritti e letti in modo sequenziale, questo significa buone prestazioni in lettura e scrittura dei backup o degli archivi, ma tempi piuttosto lunghi per spostarsi tra un dato e l'altro sui nastri (che è comunque una cosa poco significativa visto l'utilizzo).
Esistono diverse generazioni di LTO, l'ultima è LTO 7 che ha capacità raw (non compressa) di 6TB l'una (15TB l'una con una stima di compressione 2.5:1) e un transfer rate fino a 300MB/s
Per i precedenti LTO 6 la capacità è di circa 2.5/6.5TB (raw/compresso) e un transfer rate di 150MB/s.

GLi LTO7 sono piuttosto recenti per cui i costi sono ancora molto elevati, fai conto che un drive LTO6 per singola workstation ha un costo che si aggira attorno ai 1300-1500 € + controller SAS (che comunque non costa molto).
Idem per le cassette, gli LTO7 costano ancora parecchio i 6 si trovano anche a meno di 30$ l'una.

Ah un dettaglio da non trascurare, gli LTO sono dispositivi specificatamente studiati per l'archiviazione, hanno durata stimabile in decine di anni, sono facilmente archiviabili e puoi scalare teoricamente all'infinito (l'unico limite è il numero di cassette LTO che compri), usano filesystem dedicati e non quelli che usano i soliti sistemi operativi (che nella gran parte dei casi non sono pensati per archiviazioni di grandi moli di dati e richiedono manutenzione).

Le tape libraries non sono altro che dispositivi tipo server che ospitano al loro interno drive LTO e alloggiamenti per le cassette LTO, sono fatte per essere gestite tramite appositi software e si occupano di distribuire i dati sulle cassette, testarle, espellere quelle considerate inaffidabili e garantire continuità del dato.
Ci sono tape library che contengono pochi drive (1-2) e poche cassette, altre che ne contengono diversi drive e decine e decine o centinaia di cassette e hanno capacità nell'ordine dei petabyte.
Per farti un esempio il modello entry level IBM TS3200 può arrivare a una capacità di 120/300 TB (raw/compresso) con LTO6, fino a 288/720 TB (raw/compresso) con LTO7.

Ovviamente è un investimento, però tieni conto che gli LTO sono diventati lo standard di archiviazione proprio nel settore video, per anni la gente ha creduto di poter gestire tutto con i nas o le unità esterne, ma con la produzione video direttamente in digitale è impossibile.
Finito un nas ne compri un altro e un altro e un altro, alla fine ti ritrovi con una pila di nas rumorosi, costosi, ingestibili, inaffidabili, con i dischi che saltano e il rischio di perdere dati sempre dietro l'angolo.

[funkman733]

Originariamente inviato da Tasslehoff

Ovviamente è un investimento, però tieni conto che gli LTO sono diventati lo standard di archiviazione proprio nel settore video, per anni la gente ha creduto di poter gestire tutto con i nas o le unità esterne, ma con la produzione video direttamente in digitale è impossibile.
Finito un nas ne compri un altro e un altro e un altro, alla fine ti ritrovi con una pila di nas rumorosi, costosi, ingestibili, inaffidabili, con i dischi che saltano e il rischio di perdere dati sempre dietro l'angolo.

Ti ringrazio per tutte le info, molto molto chiare e prenderò in seria considerazione questo sistema per l'archiviazione di backup e comunque continuerò ad utilizzare gli hdd per l'utilizzo immediato dei dati.

Al momento, data la scoperta della funzione mount point, credo non siano più necessari l'acquisto di un server dedicato allo storage e l'utilizzo di raid 0 o raid 10.

Ma più mi servirebbe un dispositivo che mi permetta di alloggiare almeno 16 HDD contemporaneamente, perchè al momento la mia scrivania è un bordello... 13 hdd in box differenti, quindi 13 cavi usb e 13 alimentatori attaccatti.... la soluzione Storage Pod in stile Backblaze sembra un buon esempio, anche se quella soluzione vede all'interno un vero e proprio pc con un numero abnorme di alloggi per hdd (fino a 45). Ho provato a cercare quelle schede di espansione usate per la gestione degli hdd, ma non trovo la fonte su cui poter leggere le specifiche e le potenzialità di utilizzo, perchè potrei costruirmelo da solo un dipositivo per alloggiare tutti gli hdd in un unico rack.

[Rottweiler]

Io ti consiglio vivamente uno storage a blocchi. Non un Nas.
Ci sono diverse soluzioni che differiscono sia per il tipo di collegamento (dipende da che tipo di video devi produrre, quindi di che velocità hai bisogno), e il tipo di file system che utilizzano.
Esempi:
http://www.avid.com/products/avid-nexis-pro
http://www.studionetworksolutions.com/evo
https://www.dothill.com/solutions/po...-data-storage/

Ce ne sono tantissime altre ma il concetto è che un Nas per post produzione proprio non è l'architettura corretta

[funkman733]

Originariamente inviato da Rottweiler

Io ti consiglio vivamente uno storage a blocchi. Non un Nas.
Ci sono diverse soluzioni che differiscono sia per il tipo di collegamento (dipende da che tipo di video devi produrre, quindi di che velocità hai bisogno), e il tipo di file system che utilizzano.
Esempi:
http://www.avid.com/products/avid-nexis-pro
http://www.studionetworksolutions.com/evo
https://www.dothill.com/solutions/po...-data-storage/

Ce ne sono tantissime altre ma il concetto è che un Nas per post produzione proprio non è l'architettura corretta

Ciao, ti ringrazio per i link, ma quelle che vedo sono macchine un po' troppo complesse e troppo costose per l'utilizzo che ne devo fare, dato che con il magico avvento dei "mount point" non si presenta più la necessità di uno storage server o l'utilizzo di raid 1, 0 o 10.

Ho trovato, cercando in rete, il dispositivo che fa per me, per non avere molti box, solo che in Europa purtroppo non viene ancora distribuito... il dispositivo è il seguente:
http://orico.cc/goods.php?id=6104

Mi piacerebbe trovare un prodotto analogo nel mercato europeo, ma oltre le 5 baie non trovo... Avete qualche indicazione?

[zeMMeMMe]

In un caso del genere dipende se vuoi operare con qualcosa di "già fatto" (normalmente ottimo, ma anche costoso), oppure "casareccio" (molto meno costoso, ma c'è assai da lavorare) o con un NAS evoluto.

Per l'approccio "casareccio" la scelta più adatta mi pare un sistema con zfs, che ti consenta quindi di collegare (in aumento, non in decrescita) praticamente qualsiasi numero di dischi, in configurazioni anche molto sicure dal punto di vista dei guasti, e con la possibilità di controllarne il perfetto funzionamento (scrub).

Il primo che mi verrebbe in mente (anche se è pessimo dal punto di vista dell'interfaccia, bene o male è molto diffuso e quindi supportato) è FreeNAS, di cui trovi tra l'altro anche hardware certificato (normalmente sono macchine supermicro).
Per collegare tantissimi dischi, a parte l'illogicità - unità da 6TB sono ormai diffuse, economiche e funzionano bene, tralasciando i modelli più grandi e costosi - ti servono controller "stupidi" (per zfs): sempre su FreeNAS trovi esempi di configurazioni penso adatte

[AMD_Edo]

Ecco una soluzione semplice DIY con una discreta affidabilità:

Hardware
- Case rack con backplane con 24 baie da 3,5" (qua trovi degli esempi)
- Alimentatori ridondanti
- Scheda madre P9A-I (qua trovi la descrizione) che ti permette di usare 16 dischi e uno slot pci-express per montare un controller addizionale per gestire gli altri 8
- 2x8 Gbyte di ram ECC
- 2 dischi sata da 2,5" (o due SSD) per avere il s.o. in raid 1

Software
- debian o centos (ma meglio debian perchè ha un kernel più aggiornato) installato in raid sui dischi di sistema
- i tuoi dischi dati convertiti in un raid 10 usando BTRFS che é eccezionale (e soprattutto di permette di modificare la quantità dei dischi e il tipo di raid al volo... oltre a tanti altri vantaggi che non sto ad elencarti)
- le 4 porte di rete impostate in bonding
- samba 4.1 ben configurato o nfs se hai macchine linux/apple per la condivisione dei dati


In bocca al lupo!

[zeMMeMMe]

Personalmente non concordo con il suggerimento precedente, in particolare per l'utilizzo di un filesystem assolutamente non maturo (btrfs) e addirittura in una configurazione assai rischiosa (10).

Suggerisco invece, nel caso di un server "casareccio", di "copiare" una configurazione FreeNAS sicuramente funzionante (tipo quelle vendute da https://www.ixsystems.com/), in modo da andare "a colpo sicuro".
Oppure qui http://www.freenas.org/hardware-requirements/ o nel relativo forum dove trovi centinaia di configurazioni, da piccola a gigantesca, testate e pronte per l'uso.

Per inciso questo ti libera anche dai problemi di cryptolocker e simili

EDIT: guardando poi la scheda madre monta addirittura CPU Atom, lascerei stare in quanto sottopotenziata

[AMD_Edo]

Originariamente inviato da zeMMeMMe

Personalmente non concordo con il suggerimento precedente, in particolare per l'utilizzo di un filesystem assolutamente non maturo (btrfs) e addirittura in una configurazione assai rischiosa (10).

Suggerisco invece, nel caso di un server "casareccio", di "copiare" una configurazione FreeNAS sicuramente funzionante (tipo quelle vendute da https://www.ixsystems.com/), in modo da andare "a colpo sicuro".
Oppure qui http://www.freenas.org/hardware-requirements/ o nel relativo forum dove trovi centinaia di configurazioni, da piccola a gigantesca, testate e pronte per l'uso.

Per inciso questo ti libera anche dai problemi di cryptolocker e simili

EDIT: guardando poi la scheda madre monta addirittura CPU Atom, lascerei stare in quanto sottopotenziata

Sei sicuro di quanto affermi?

- la cpu C2750 é un Atom linea server con prestazioni prossime ad uno Xeon E5440 e per uno server storage é più che abbondante! Inoltre supporta (necessita) di memoria ECC.

- BTRFS nei profili single, raid1 e raid 10 è più che stabile tanto che la stessa RedHat suggerisce di usarlo quando si crea un cluster GlusterFS. Inoltre i livelli raid di btrfs non sono paragonabili a quelli tradizionali o a quelli di ZFS

- ZFS non ha assolutamente la stessa duttilità di btrfs oltre a richiedere molta più potenza di calcolo.


In maggio nella facoltà dove lavoro abbiamo effettuato la migrazione da ZFS a BTRFS in tutti gli storage server e onestamente ne siamo più che contenti.

Adesso stiamo costruendo un secondo cluster GlusterFS basato esclusivamente su BTRFS che entro la fine del mese dovrebbe raggiungere quota 980TB.