Evitare la perdita di dati (backup e RAID)

[Baboo85]

Ciao a tutti, spero questa sia la sezione giusta dato che non trovo quella relativa al RAID.

Ultimamente sto entrando in modalità paranoica per la possibilità di perdita di dati.
Anni fa non facevo backup, dischi singoli e dati singoli. Un giorno mi balena l'idea del backup e dopo qualche tempo un disco va a quel paese.
Dopodiché passo al RAID 1. Tutto bene finché un collega non mi mette la pulce nell'orecchio dicendo "ma li prendi uguali? E se un modello ha un difetto di fabbrica e ti saltano entrambi in poco tempo?".
Infine, proprio in questo periodo, un altro collega mi aggiunge "RAID 1 con due dischi? E se un dato si corrompe?".


Veniamo a noi. Vorrei conservarli nel miglior modo possibile.
Entriamo in modalità paranoico-complottista ai massimi livelli.
I dati devono essere protetti da:
- hard disk failure (se un hard disk salta)
- corruzione dati
- agenti esterni quali fulmini, incendi (pc o casa intera)
- furti
- hacker o cracker

Non ho mai perso un dato, se parliamo di hard disk. Su DVD ho avuto problemi di illeggibilità e tanti saluti, su DVD diversi e con masterizzatori diversi (e masterizzazione a velocità minima).

Al momento ho due dischi da 4TB in RAID 1 da Windows 7 (soldi per un controller hardware non li spendo e visto che quello della scheda madre ho letto che e' un RAID da BIOS, ho preferito andare sul "si legge sempre se lo metto su un altro computer"), completamente pieno (ho 4TB di dati).
Possiedo i "vecchi" hard disk da 2TB (4 dischi, erano a coppie di RAID 1).
Il tutto era protetto da Bitlocker, ma dopo sta cosa della NSA ho optato per l'ultima versione originale di TrueCrypt (7.1a) che almeno pare non avere backdoor fatte apposta.

Ditemi cosa potrei fare, ho optato per queste opzioni:
- RAID 1 con 3 dischi da 4TB (devo comprare il 3 disco e vedere come fare il RAID, da Windows fa impostare solo due HDD)
- backup esterno su un hard disk conservato altrove (sempre in casa ovvio)
- backup su cloud (ci sono servizi non molto costosi che danno spazio illimitato)

Così dovrei essere protetto da tutto. Il cloud protegge da tutto tranne hacker e cracker. I backup su dischi esterni mi protegge da tutto tranne incendio della casa.
TrueCrypt mi da' un margine di protezione in caso qualcuno acceda agli hard disk.

Voi che ne dite? C'è qualche paranoico come me che fa così o anche peggio?

[bobafetthotmail]

Un giorno mi balena l'idea del backup e dopo qualche tempo un disco va a quel paese.

Più progredisce la tecnologia dei dischi fissi e maggiori sono le probabilità di morte di un disco, per come sta andando ora.
Non si parla di numeroni, ma l'aumento c'è ed è tangibile rispetto al passato.

Veniamo a noi. Vorrei conservarli nel miglior modo possibile.

1. il RAID non è un backup. Detto comune dei sistemisti. Il RAID ti permette di cambiare dischi senza spegnere/riavviare/fermare la macchina (quindi il suo lavoro) ma a parte quello non si può considerare un backup. Se la macchina in sè muore (es. l'alimentatore salta e frigge i dischi, capita), se arrivano fulmini, se qualcuno fa un format a caso, se un virus colpisce, eccetera.
Un backup è per definizione una copia indipendente dei tuoi dati in un posto diverso.

2. la "corruzione" dei dati detta anche "bit rot" esiste e se hai archivi di una certa dimensione potresti averne beccati alcuni che si sono "corrotti magicamente". Si combatte con un filesystem o con un software che fa i hash/checksum dei dati ( vedi qui https://it.wikipedia.org/wiki/Hash ) e di almeno un disco di parità (dentro un disco o sparsa per l'array come nel RAID5 e 6) dove vengono tenuti i dati clonati per poter ripristinare eventuali errori.
Quindi si parla di btrfs e ZFS come file system (NTFS è un file system) e di SnapRaid come software che fa questi hash indipendentemente ogni tot tempo. Vedere qui per una comparazione delle features offerte da questi citati/consigliati e da altri sulla piazza http://snapraid.sourceforge.net/compare.html
Su Windows gira solo SnapRaid e ha solo una interfaccia a riga di comando (la interfaccia grafica su windows è vecchia)

3.il RAID software è una buona idea, per quanto su Windows 7 mi ha sempre tirato dei pacchi (dischi si disconnettevano e non mi diceva nulla) e non l'ho più provato oltre. Non credo che su Windows tu possa usare 3 dischi per un RAID1, ma potrei sbagliarmi.
Su linux è praticamente la norma ed è anche in produzione (se l'admin lo gradisce).

4.Criptare i dati viene meglio su linux che almeno la roba che usi è opensource e c'è una ampia scelta aggratis. Puoi criptare il disco, i file, le cartelle, quel cavolo che vuoi. Personalmente mai fatto a casa mia, non ne sento la necessità col tipo di dati che ho.

5. per proteggere un dispositivo elettrico da fulmini e mancanza di corrente (permette uno spegnimento sicuro e non una interruzione brutale che potrebbe corrompere i dati) si usano UPS, ma se vuoi proteggere il tuo PC gaming con dentro i dischi ti costa un botto. Conviene avere un miniserver/nas dedicato così puoi usare un UPS di dimensioni/costi contenuti.

6. visto che fai sul serio ti consiglierei di dare una occhiata a distribuzioni linux specialistiche come OpenMediaVault http://www.openmediavault.org/
e assemblarti il tuo miniserver/NAS come assembleresti un PC con tutto quello che vuoi che faccia.
Per gli hardcore c'è anche FreeNAS che fino a qualche anno fa era l'unico modo per avere il file system ZFS, ma richiede ram ECC e di fatto schede da server, questo è più per gli invasati.

7. crashplan (servizio di backup cloud) ha un client che gira anche su linux e senza interfaccia grafica (per un uso da server/NAS).

domande più specifiche, chiedi pure.

C'è qualche paranoico come me che fa così o anche peggio?

Non c'è limite... non c'è limite...

[Baboo85]

Originariamente inviato da bobafetthotmail

1. il RAID non è un backup. Detto comune dei sistemisti. Il RAID ti permette di cambiare dischi senza spegnere/riavviare/fermare la macchina (quindi il suo lavoro) ma a parte quello non si può considerare un backup. Se la macchina in sè muore (es. l'alimentatore salta e frigge i dischi, capita), se arrivano fulmini, se qualcuno fa un format a caso, se un virus colpisce, eccetera.
Un backup è per definizione una copia indipendente dei tuoi dati in un posto diverso.

Si' non e' un backup vero e proprio, ma se ti salta uno dei due dischi e' come avere un backup, fatto in tempo reale.
E' come dici tu, appunto, permette di cambiare dischi senza spegnere la macchina, un backup in tempo reale che permette di non interrompere il lavoro di una macchina.

Originariamente inviato da bobafetthotmail

2. la "corruzione" dei dati detta anche "bit rot" esiste e se hai archivi di una certa dimensione potresti averne beccati alcuni che si sono "corrotti magicamente". Si combatte con un filesystem o con un software che fa i hash/checksum dei dati ( vedi qui https://it.wikipedia.org/wiki/Hash ) e di almeno un disco di parità (dentro un disco o sparsa per l'array come nel RAID5 e 6) dove vengono tenuti i dati clonati per poter ripristinare eventuali errori.
Quindi si parla di btrfs e ZFS come file system (NTFS è un file system) e di SnapRaid come software che fa questi hash indipendentemente ogni tot tempo. Vedere qui per una comparazione delle features offerte da questi citati/consigliati e da altri sulla piazza http://snapraid.sourceforge.net/compare.html
Su Windows gira solo SnapRaid e ha solo una interfaccia a riga di comando (la interfaccia grafica su windows è vecchia)

Ho gia' sentito nominare ZFS come miglior file systemper i raid. Vedro' questo SnapRaid e qualche sua alternativa aggiornata.

Originariamente inviato da bobafetthotmail

3.il RAID software è una buona idea, per quanto su Windows 7 mi ha sempre tirato dei pacchi (dischi si disconnettevano e non mi diceva nulla) e non l'ho più provato oltre. Non credo che su Windows tu possa usare 3 dischi per un RAID1, ma potrei sbagliarmi.
Su linux è praticamente la norma ed è anche in produzione (se l'admin lo gradisce).

No, per il RAID 1 non ti fa mettere piu' di 2 dischi (secondo me e' una limitazione, mentre su Windows Server non ci saranno limiti).

Originariamente inviato da bobafetthotmail

4.Criptare i dati viene meglio su linux che almeno la roba che usi è opensource e c'è una ampia scelta aggratis. Puoi criptare il disco, i file, le cartelle, quel cavolo che vuoi. Personalmente mai fatto a casa mia, non ne sento la necessità col tipo di dati che ho.

Mi basta una versione free esente da backdoor NSA come dicevo. Truecrypt fino alla 7.1a era ok, poi casualmente dopo un reale controllo della sua attendibilita' e' stato polverizzato e messa fuori una versione 7.2 fatta da uno diverso dal suo creatore, ecc ecc. Mi fido per questo e per la comodita' che so usarlo per un paio di cose...

Originariamente inviato da bobafetthotmail

5. per proteggere un dispositivo elettrico da fulmini e mancanza di corrente (permette uno spegnimento sicuro e non una interruzione brutale che potrebbe corrompere i dati) si usano UPS, ma se vuoi proteggere il tuo PC gaming con dentro i dischi ti costa un botto. Conviene avere un miniserver/nas dedicato così puoi usare un UPS di dimensioni/costi contenuti.

No no il pc gaming e' un portatile (l'Asus in firma). Ho un desktop dedicato a parte come NAS, gia' sotto UPS. Piu' che per i fulmini (se entra un fulmine nell'impianto elettrico fotte tutto e se ne sbatte di fusibili, resistenze e quant altro) mi serve per interruzioni di corrente o sbalzi. Ne ho gia' subiti 2 di recente e un'interruzione causata da me (lavatrice nuova + forno nuovo ok, con la lavastoviglie vecchia e forno e' saltato il contatore).
Col fatto che e' USB col suo programmino controllo uno spegnimento a tempo (gia' testato), solo che mi viene il dubbio di aver speso troppi soldi nell'acquisto.

Originariamente inviato da bobafetthotmail

6. visto che fai sul serio ti consiglierei di dare una occhiata a distribuzioni linux specialistiche come OpenMediaVault http://www.openmediavault.org/
e assemblarti il tuo miniserver/NAS come assembleresti un PC con tutto quello che vuoi che faccia.
Per gli hardcore c'è anche FreeNAS che fino a qualche anno fa era l'unico modo per avere il file system ZFS, ma richiede ram ECC e di fatto schede da server, questo è più per gli invasati.

Nah. Odio linux, per me e' troppo un casino utilizzarlo. E poi ho gia' speso abbastanza soldi nei dischi da 4TB

Originariamente inviato da bobafetthotmail

7. crashplan (servizio di backup cloud) ha un client che gira anche su linux e senza interfaccia grafica (per un uso da server/NAS).

domande più specifiche, chiedi pure.

Non c'è limite... non c'è limite...

Domande specifiche non ce ne sono. Al momento la mia soluzione e':
- 3 dischi in RAID 1 da BIOS (sempre software e', da Windows non posso mettere piu' di 2 dischi. Il 3 disco arrivera' in settimana)
- dischi di backup, separati dal sistema (al momento sto ricopiando tutto sui dischi da 2TB per fare poi il RAID di 3 dischi, quindi gia' sto facendo questo pezzo)
- eventuale cloud (parlavo giustappunto nel thread dei cloud free), nello specifico Pogoplug (29$ l'anno per spazio illimitato, anche se dai test dell'utente dopo 1TB l'upload scende a 200KB/s). Il come caricarlo rimane un'incognita, dal lavoro mi cazzierebbero (anche perche' ho scoperto che abbiamo banda limitata mensilmente, robe svizzere strane) e da casa con una ADSL da 40KB/s di upload e' inimmaginabile (se non ho fatto male i calcoli a spanne, ci metterei 4 anni).

Tra l'altro ecco l'utente che mi ha messo la pulce nell'orecchio. Non un collega:

Originariamente inviato da danieleg.dg

Concordo appieno, anche io una copia a casa di tutti i dati che ho caricato e per i dati importanti ho un nas con due hard disk in zraid1. E qui ti metto una pulce a riguardo dei raid classici: e se un dato in uno dei due hard disk in radi1 è corrotto? Come fai a stabilire quale delle due copie è quella sana? Per questo io ho optato per ZFS... che oltre ai dati mantiene anche i checksum.

Tornando a noi...
Linux e' fuori discussione, per quanto possa essere migliore in questo campo. Voglio accesso facile e semplice da configurare, file system accessibile da tutti i pc windows e via dicendo coi programmi. Ho gia' il desktop NAS con Windows 7 che ho appena ghostato su un SSD (tramite immagine, per salvare anche quella) qualche settimana fa per aumentare la velocita' del sistema. Insomma ho gia' tutto configurato e fare da zero tutto per me e' una perdita di tempo e fatica sprecata.

Controller RAID hardware abbiamo detto no, che costano troppo.

Al momento sulla mobo ho 6 porte sata (scelta apposta tempo fa), di cui una occupata dall'SSD di sistema. Altre 3 saranno occupate dai 3 dischi da 4TB per il raid, avrei 2 porte libere per un altro raid 1 dove metterci i dati meno importanti.
La mobo ha CPU AMD e 4GB di ram, la CPU e' un Sempron single core sbloccato (per puro caso ho attivato l'opzione su Auto, e ora ho un Athlon X2). Purtroppo ho notato che fa fatica, ma copiare 4TB di dati tra RAID software non e' uno scherzo e comunque la velocita' e' relativa.

Al momento sono serio, ma non a tal punto da sbattere via tutto il sistema e rifarlo da zero. Non sono ancora a questi livelli

[bobafetthotmail]

Originariamente inviato da Baboo85

Linux e' fuori discussione, per quanto possa essere migliore in questo campo. Voglio accesso facile e semplice da configurare

Faccio notare che OpenMediaVault fornisce una interfaccia web da controllo remoto come i NAS commerciali (e i router), e utilizza un sistema di plugin dedicati per le funzionalità aggiuntive con interfaccia grafica web sua.
Tra cui anche SnapRaid.

Non ti sto mica dicendo di installare Arch o peggio... Ubuntu e configurartelo a mano.

OMV ti permette di trasformare un PC scassone in un NAS con una certa rapidità.

file system accessibile da tutti i pc windows e via dicendo coi programmi.

Tanta gente prende NAS commerciali che usano un linux custom e non ha mai problemi con questo.

Piu' che per i fulmini (se entra un fulmine nell'impianto elettrico fotte tutto e se ne sbatte di fusibili, resistenze e quant altro)

Un fulmine non entra mica. I cavi bruciano.
Il problema è il sovraccarico sulla rete elettrica causato da un fulmine.
Gli stessi circuiti che proteggono dagli sbalzi proteggono anche dai fulmini.
Staccano il contatto.
E comunque anche i salvavita scattano.

Il grosso dei fulmini che ho sentito io hanno fatto danni entrando dalla rete telefonica (non il fulmine in toto, diciamo un sovraccarico dovuto al fulmine) che ha ucciso i dispositivi attaccati via ethernet.
Ci sono ciabatte (sistemi multipresa) o UPS che proteggono anche la linea ethernet per questa ragione.

- 3 dischi in RAID 1 da BIOS (sempre software e', da Windows non posso mettere piu' di 2 dischi. Il 3 disco arrivera' in settimana)

Ho il forte sospetto che aggiungere dischi in un RAID1 di quel tipo significa semplicemente che aumenti in numero di copie (così hai 3 dischi con sopra 3 copie dei dati), ma non di spazio disponibile.
L'implementazione dipende da chi ha scritto il firmware, in genere è così.

Se è effettivamente così, devi fare un RAID5, quindi ti serve una scheda dedicata.
Ci sono anche schede di "raid" che alla fine sono raid software proprietari (fatti a livello dei loro driver e usano il processore del PC invece di un controller dedicato).
Si distinguono dalle "raid hardware" serie principalmente perchè con 50 euro o meno ne trovi una da 4 dischi, mentre una seria costa 150 e passa.
Stesso problema delle raid dedicate, se muore devi prenderne una simile o non leggi il raid.

Col fatto che e' USB col suo programmino controllo uno spegnimento a tempo (gia' testato), solo che mi viene il dubbio di aver speso troppi soldi nell'acquisto.

OpenMediaVault ha dei plugin per comunicare con gli UPS via seriale o USB (che alla fine è una seriale ma soprassediamo) ma non ho idea di quali vanno e quali no (l'unica è provare).

Il come caricarlo rimane un'incognita

Amici con fibra?

Purtroppo ho notato che fa fatica, ma copiare 4TB di dati tra RAID software non e' uno scherzo e comunque la velocita' e' relativa.

??? Come fa a caricare il processore? Non ci sono checksum nè niente.

Io proverei a disattivare il core del Sempron, in vari sono disattivati perchè instabili.

Come metro di paragone il mio NSA325V2 (Zyxel, un NAS commerciale con processore ARM scarso) con su OpenMediaVault ( ) trasferisce dati in lettura via ethernet dal suo RAID1 a 65-70 MB/s, in scrittura va credo a 50.

Al momento sono serio, ma non a tal punto da sbattere via tutto il sistema e rifarlo da zero. Non sono ancora a questi livelli

Seee... dicono tutti così, poi fanno dei megaserver della madonna per le foto delle vacanze, i film piratati e per il porno

[Baboo85]

Originariamente inviato da bobafetthotmail

Faccio notare che OpenMediaVault fornisce una interfaccia web da controllo remoto come i NAS commerciali (e i router), e utilizza un sistema di plugin dedicati per le funzionalità aggiuntive con interfaccia grafica web sua.
Tra cui anche SnapRaid.

Non ti sto mica dicendo di installare Arch o peggio... Ubuntu e configurartelo a mano.

OMV ti permette di trasformare un PC scassone in un NAS con una certa rapidità.

Ehi come ti permetti

Battute a parte, niente linux anche perche' della connettivita' di rete me ne frega relativamente poco, quel "NAS" che ho non lo tengo acceso 24/7 e lo collego ad internet raramente. Giusto ogni tanto (appena ho finito il tour-de-force) per fargli fare i backup schedulati con Cobian Backup.

Originariamente inviato da bobafetthotmail

Tanta gente prende NAS commerciali che usano un linux custom e non ha mai problemi con questo.

Si' ma che file system usano? NTFS/FAT32/exFAT?

Originariamente inviato da bobafetthotmail

Un fulmine non entra mica. I cavi bruciano.
Il problema è il sovraccarico sulla rete elettrica causato da un fulmine.
Gli stessi circuiti che proteggono dagli sbalzi proteggono anche dai fulmini.
Staccano il contatto.
E comunque anche i salvavita scattano.

Il grosso dei fulmini che ho sentito io hanno fatto danni entrando dalla rete telefonica (non il fulmine in toto, diciamo un sovraccarico dovuto al fulmine) che ha ucciso i dispositivi attaccati via ethernet.
Ci sono ciabatte (sistemi multipresa) o UPS che proteggono anche la linea ethernet per questa ragione.

Ok vero, ma i cavi sono di metallo e conducono. Una scarica da migliaia (milioni?) di volt che passa attraverso, credo se ne sbatti di 1cm di ponte interrotto.
Non ho mai sentito (ne' subìto) cose del genere, ma mai dire mai d'altronde siamo in "paranoid mode"



Io ho una powerline (una coppia ovviamente) non e' che passa da telefono, modem e powerline e brucia tutto?

Originariamente inviato da bobafetthotmail

Ho il forte sospetto che aggiungere dischi in un RAID1 di quel tipo significa semplicemente che aumenti in numero di copie (così hai 3 dischi con sopra 3 copie dei dati), ma non di spazio disponibile.
L'implementazione dipende da chi ha scritto il firmware, in genere è così.

Se è effettivamente così, devi fare un RAID5, quindi ti serve una scheda dedicata.
Ci sono anche schede di "raid" che alla fine sono raid software proprietari (fatti a livello dei loro driver e usano il processore del PC invece di un controller dedicato).
Si distinguono dalle "raid hardware" serie principalmente perchè con 50 euro o meno ne trovi una da 4 dischi, mentre una seria costa 150 e passa.
Stesso problema delle raid dedicate, se muore devi prenderne una simile o non leggi il raid.

Beh l'obiettivo e' avere appunto 3 copie. Cioe' se un dato si corrompe su due dischi, esticazzi... Posso anche chiamare uno sciamano che mi porta via la sfiga

Per le schede e' esattamente il problema che ti dicevo. Costano quelle serie e se mi salta addio dati.
Quelle software tantovale usare la scheda che ho gia', quella integrata.

Originariamente inviato da bobafetthotmail

OpenMediaVault ha dei plugin per comunicare con gli UPS via seriale o USB (che alla fine è una seriale ma soprassediamo) ma non ho idea di quali vanno e quali no (l'unica è provare).

Appunto. Per Windows ho gia' driver e softwarino pronto e gia' installato

Originariamente inviato da bobafetthotmail

Amici con fibra?

Una volta si', ora non piu'. Successi casini, storia lunga.

Originariamente inviato da bobafetthotmail

??? Come fa a caricare il processore? Non ci sono checksum nè niente.

Io proverei a disattivare il core del Sempron, in vari sono disattivati perchè instabili.

Come metro di paragone il mio NSA325V2 (Zyxel, un NAS commerciale con processore ARM scarso) con su OpenMediaVault ( ) trasferisce dati in lettura via ethernet dal suo RAID1 a 65-70 MB/s, in scrittura va credo a 50.

Si' e' sempre andato su a mille, provero' a disattivarlo ma secondo me sara' peggio. Da quando l'ho attivato le prestazioni sono aumentate.

Conta che la scheda RAID e' della scheda madre, ergo lo fai da bios suo, ergo usa il processore del PC.

Ergo, ergo, ergo.

Originariamente inviato da bobafetthotmail

Seee... dicono tutti così, poi fanno dei megaserver della madonna per le foto delle vacanze, i film piratati e per il porno

No film piratati no, non li guardo su pc. Anime giapponesi si', 1,6TB sono solo di quelli. Puntate su puntate, molti introvabili, molti mai nemmeno tradotti in italiano. E ancora la lista e' lunga, mi sono fermato qualche anno fa e sono rimasto indietro

[bobafetthotmail]

Originariamente inviato da Baboo85

Si' ma che file system usano? NTFS/FAT32/exFAT?

Ext3 per i vecchi, ext4 per i nuovi o btrfs per i netgear.
E nessuno si è mai fatto problemi, come dicevo.
Quello è un NAS o un muletto?
Perchè se è un muletto che controlli con schermo e tastiera la cosa cambia. OMV come tutti i NAS commerciali, modem, router si controlla in remoto da un altro PC/tablet/smartphone nella stessa rete locale con la sua interfaccia web.

Comunque, nulla ti vieta di usare dischi in NTFS o Fat32 su OMV.

Ok vero, ma i cavi sono di metallo e conducono.

Hai presente i fusibili? Sono cavi elettrici sottili, quando si sovraccaricano si vaporizzano e interrompono il contatto.

Un fulmine scarica decine di kilowatt come ridere in cavi elettrici normali che oltre 3-5 kilowatt non vanno. Il metallo si vaporizza e il contatto si interrompe. Come se il cavo elettrico di casa tua fosse un grosso fusibile.

Quello che fa danni è il sovraccarico della rete causato da un fulmine caduto vicino, il fulmine non entra perchè i cavi non lo tengono.

Io ho una powerline (una coppia ovviamente) non e' che passa da telefono, modem e powerline e brucia tutto?

no, salta solo la powerline connessa al modem.

Beh l'obiettivo e' avere appunto 3 copie. Cioe' se un dato si corrompe su due dischi, esticazzi... Posso anche chiamare uno sciamano che mi porta via la sfiga

Uhm, ma il RAID1 è solo mirroring, cioè copie senza controlli, ricordi quando ho detto che NON E' UN BACKUP? il RAID5-6 qualcosa lo fa ma non è sufficiente.

Puoi avere 45 dischi ma non preserva l'integrità dei dati perchè non fa controlli di integrità quindi se un dato si corrompe il sistema non ha idea che si è corrotto nè lo corregge.
Se usi Snapraid il terzo disco lo devi tenere a parte da solo come parità (per tenere una copia completa dei dati che usa per ripristinare eventuali errori/corruzioni), o fare un altro raid per il disco di parità

Quelle software tantovale usare la scheda che ho gia', quella integrata.

Quella integrata fa un RAID5? No?
Quindi se vuoi avere un array più grande di 4TB devi comprare dischi più grandi, non aggiungerne altri da 4TB all'array già esistente.

Vedi questo calcolatore grafico della capacità del RAID di Synology (ma vale per tutti comunque) https://www.synology.com/it-it/support/RAID_calculator

Appunto. Per Windows ho gia' driver e softwarino pronto e gia' installato

OMV, essendo linux ha i driver integrati ed essendo preconfigurato il grosso è già lì, qualcosa di aggiuntivo si può mettere con i plugin con 3 click come se avessi un NAS commerciale.
Non sto cercando di "vendertelo", solo di correggere idee strane che hai.

Conta che la scheda RAID e' della scheda madre, ergo lo fai da bios suo, ergo usa il processore del PC.

Ergo chi ha scritto i firmware/driver è una capra, perchè non dovrebbe caricare il processore visto che non fa ALCUN controllo di integrità dei dati.

Cioè è come copiare gli stessi dati dentro 2 dischi contemporaneamente.

Carica solo se il processore è una merda come i processori ARM dei NAS commerciali, e anche lì le performanche non vengono impattate un granchè coi settaggi giusti.

[Baboo85]

Originariamente inviato da bobafetthotmail

Ext3 per i vecchi, ext4 per i nuovi o btrfs per i netgear.
E nessuno si è mai fatto problemi, come dicevo.
Quello è un NAS o un muletto?
Perchè se è un muletto che controlli con schermo e tastiera la cosa cambia.

No no e' un pc adibito a NAS, che accendo sporadicamente.

Originariamente inviato da bobafetthotmail

Uhm, ma il RAID1 è solo mirroring, cioè copie senza controlli. il RAID5-6 qualcosa lo fa ma non è sufficiente.

Puoi avere 45 dischi ma non serve a nulla perchè non fa controlli di integrità quindi se un dato si corrompe il sistema non ha idea che si è corrotto nè lo corregge.
Se usi Snapraid il terzo disco lo devi tenere a parte da solo come parità (per tenere una copia completa dei dati che usa per ripristinare eventuali errori/corruzioni)

In teoria lo fa... Ad esempio al lavoro abbiamo pc industriali (ma sono normali pc) con scheda raid integrata intel e raid fatto da BIOS. Ogni tanto si mette a fare delle verifiche, sui due dischi. "Verification and Repair".

Originariamente inviato da bobafetthotmail

Quella integrata fa un RAID5? No?
Quindi se vuoi avere un array più grande di 4TB devi comprare dischi più grandi, non aggiungerne altri da 4TB all'array già esistente.

No da 4TB va benissimo. Comunque purtroppo supporta solo RAID 0,1,10 e JBOD.
E ora che mi ci fai pensare, vede i dischi da 4TB come dischi da 1800GB (quelli da 2TB come 2000GB e un RAID 0 di 2x2TB lo vede da 4000GB). Spero sia un problema di visualizzazione e che non abbia limitazioni.

Originariamente inviato da bobafetthotmail

OMV, essendo linux ha i driver integrati e i plugin sono 3 click come se avessi un NAS commerciale.
Non sto cercando di "vendertelo", solo di correggere idee strane che hai.

Non la voglio lo stesso

Originariamente inviato da bobafetthotmail

Ergo chi ha scritto i firmware/driver è una capra, perchè non dovrebbe caricare il processore visto che non fa ALCUN controllo di integrità dei dati.

Cioè è come copiare gli stessi dati dentro 2 dischi contemporaneamente.

Carica solo se il processore è una merda come i processori ARM dei NAS commerciali, e anche lì le performanche non vengono impattate un granchè coi settaggi giusti.

Non so, ti dico che il processo System sale a palla... Non e' un problema, me lo sta uccidendo adesso che sto spostando 4TB di dati alla volta. Di solito copio poca roba.

[bobafetthotmail]

Originariamente inviato da Baboo85

In teoria lo fa... Ad esempio al lavoro abbiamo pc industriali (ma sono normali pc) con scheda raid integrata intel e raid fatto da BIOS. Ogni tanto si mette a fare delle verifiche, sui due dischi. "Verification and Repair".

In teoria anche no. Il RAID1 secondo le specifiche non ha checksum, solo mirroring, quindi quelli saranno degli scandisk o roba inutile.
Il RAID con checksum si chiama RAID5 o RAID6, e comunque non protegge dal bit rot completamente (motivo per cui esiste btrfs, ZFS, SnapRaid e un file system di WIndows Server capace dif farlo).

Informati su cosa fa il RAID, e cosa fanno i tuoi RAID (manuale?), e se non trovi nulla assumi che non lo faccia e prendi contromisure adeguate.

Cioè sei o non sei in modalità paranoia?

No da 4TB va benissimo.

Non hai detto che era pieno? (sì lo hai detto) Comuqnue tienine conto quando (perchè succederà) farai un upgrade.
Oh le schede di Raid5 software costano poco (30-50 euro per una da 4 dischi, con 4 TB avresti 2/3 o 3/4 di spazio disponibile invece che 1/2 come col RAID1, vuoi continuare a comprare valanghe di dischi fissi?) e vanno su Windows, almeno carichi il processore per qualcosa.

Non la voglio lo stesso

Basta che non posti boiate per giustificare la scelta. è tuo diritto scegliere quello che vuoi, ma se posti boiate ti correggo.

[Baboo85]

Originariamente inviato da bobafetthotmail

In teoria anche no. Il RAID1 secondo le specifiche non ha checksum, solo mirroring, quindi quelli saranno degli scandisk o roba inutile.
Il RAID con checksum si chiama RAID5 o RADI6, e comunque non protegge dal bit rot completamente.

Informati su cosa fa il RAID, e cosa fanno i tuoi RAID (manuale?), e se non trovi nulla assumi che non lo faccia e prendi contromisure adeguate.

Cioè sei o non sei in modalità paranoia?

Da programmino Intel, quando si entra in Windows (e lo si capisce prima per la lentezza all'avvio) compare la popup che dice "Verification and repairing". Ogni tanto lo fa, non saprei dirti quando dato che lo accendiamo poche volte.

Non so dirti altro.

Manuale di questi pc non esiste e non mi metto a scomodare dei colleghi per una cosa a cui non mi risponderanno o se lo fanno chiederanno perche'

Comunque ora mi metto a cercare una soluzione software per il bit rotting.

[Baboo85]

Ho comprato il 3 disco da 4TB 2 settimane fa e sto finendo di copiare i dati altrove per rifare il RAID (a sto giro usando quello della scheda madre).

Faccio il RAID di 3 dischi e poi rimetto su i dati. I dischi usati fin'ora (che parto, tra parentesi) li tengo come backup e li tolgo dal pc appena finito.

[Baboo85]

Due aggiornamenti:

Ho dovuto creare i raid da Windows in quanto il chip raid della scheda madre non supporta dischi oltre i 2TB.

Ho diviso in 2 partizioni ogni disco da 4TB e unite a due a due (RAID 1):
- disco 1: partizione 1 e 3
- disco 2: partizione 2 e 3
- disco 3: partizione 1 e 2

All'incirca cosi'.

Poi degli altri 4 dischi da 2TB, un paio e' in RAID 1 con una copia di backup di alcune cose (e condiviso su rete), gli altri due singoli li ho tolti e usati come backup esterni.

[Baboo85]

Secondo aggiornamento:

Fatto i raid in Windows, backuppato su raid bios e su dischi esterni, ho aggiornato a Windows 10. VACCATA PAZZESCA. Non Windows 10, ma quella che ho fatto io.

Mi si sono sminchiati i raid. Li vedevo in Gestione Dischi come partizioni primarie nulle da 2TB (il resto non partizionato). Panico, bestemmie.

La versione di Windows 10 che regalano e' la Home, che non supporta i raid. Tentato il ritorno a Windows 7 tramite opzione.

BSOD ad ogni avvio. Bestemmie, bestemmie e ancora bestemmie.

Avevo un'immagine del disco C: fatta a fine giugno, cioe' quando ho fatto il cambio da HDD a SSD.
Parto con il ripristino, dopo un po' capisco come funziona il ripristino immagine di Clonezilla (ovvero dove mettere i file dell'immagine creata, odio Linux, e' veramente fatto a culo scusate) e va.

Entro in Partition Manager incluso nella Live che sto usando (Hiren's Boot CD 15.3) per sistemare la partizione, vedo per caso i dischi da 4TB, leggo "unallocated space", come se le partizioni fossero sparite.

Satana sale a dirmi di smetterla di bestemmiare, perche' sto iniziando a dargli fastidio pure a lui.

Fortuna vuole pero' che i dischi non fossero stati toccati, in Windows mi dice che i dischi sono Foreign (?), fatto l'importazione e mi ha ripristinato i RAID.

Tutto ok.


Cio' mi consola nel caso volessi passare a Windows Server o altri Windows (che supportano il raid).

[Baboo85]

Originariamente inviato da bobafetthotmail

2. la "corruzione" dei dati detta anche "bit rot" esiste e se hai archivi di una certa dimensione potresti averne beccati alcuni che si sono "corrotti magicamente". Si combatte con un filesystem o con un software che fa i hash/checksum dei dati ( vedi qui https://it.wikipedia.org/wiki/Hash ) e di almeno un disco di parità (dentro un disco o sparsa per l'array come nel RAID5 e 6) dove vengono tenuti i dati clonati per poter ripristinare eventuali errori.
Quindi si parla di btrfs e ZFS come file system (NTFS è un file system) e di SnapRaid come software che fa questi hash indipendentemente ogni tot tempo. Vedere qui per una comparazione delle features offerte da questi citati/consigliati e da altri sulla piazza http://snapraid.sourceforge.net/compare.html
Su Windows gira solo SnapRaid e ha solo una interfaccia a riga di comando (la interfaccia grafica su windows è vecchia)

Ciao, ti contraddico un attimo (perche' questa mi sembrava un po' assurda) e ho chiesto al mio neo-capo IT (neo perche' mi sono spostato io di mansione).

Se in un RAID 1 in un disco si corrompe un bit, viene segnalato e NON viene copiato nell'altro disco. Infatti mi sembrava strano che potesse succedere una vaccata simile.

Il controller verifica cosa e da dove passano le modifiche sui dati. Se arrivano modifiche "dall'alto" (utente, sistema operativo, ecc) allora le modifiche vengono memorizzate.
Se la modifica proviene da uno dei due dischi (il dato si corrompe da solo) non viene riprodotto sull'altro disco e l'utente viene avvisato. Immagino anche che poi venga fatto il controllo e ricopiato il dato in un'altra area dell'hard disk (un po' come fa per i settori danneggiati).

Quindi contro il bit rotting basta un semplice RAID 1.

Certo, stiamo ovviamente parlando di controller RAID seri, probabilmente quelli integrati o quello di Windows non lo fanno...

In effetti da noi che abbiamo i computer desktop che ti dicevo, che spesso fanno controlli e verifiche (il softwarino di Intel RAID che fa queste scansioni credo periodiche).
Una volta un disco era mezzo partito a corrompere dati, il software mi ha avvisato del problema. Non ha copiato i dati corrotti solo perche' erano diversi.

Quindi, escludendo forse i controller RAID integrati delle schede madri consumer e quelli di Windows, il RAID 1 con 2 dischi basta per il bit rot (sempre che non si danneggi la stessa area su entrambi dove c'e' memorizzato quel dato, roba troppo remota per preoccuparsene)...

[bobafetthotmail]

Originariamente inviato da Baboo85

Certo, stiamo ovviamente parlando di controller RAID seri, probabilmente quelli integrati o quello di Windows non lo fanno...

1. mi dici quali sono nello specifico, marca e modello, tac. tac.

2. mi fai vedere documentazione dove il produttore mette nero su bianco questa affermazione.

Stiamo parlando di integrità dei dati, fidarsi di voci di corridoio che una cosa va è sbagliatissimo.

Se la modifica proviene da uno dei due dischi (il dato si corrompe da solo) non viene riprodotto sull'altro disco e l'utente viene avvisato.

Sì, ma è troppo tardi. Un RAID 1 non ha modo di capire quale dei due dischi è quello giusto e quale è quello sbagliato.

il RAID5 e 6 hanno i checksum e i dati ridondanti sparsi per tutto l'array, in modo da poter dire se i dati sono giusti o sbagliati ed eventualmente sostituire.
Ma delle volte smaronano anche quelli.

Un RAID1 dove li ha i checksum? Non li ha, non è fatto per quello.

Una volta un disco era mezzo partito a corrompere dati, il software mi ha avvisato del problema. Non ha copiato i dati corrotti solo perche' erano diversi.

Ti ha avvisato che i dati erano corrotti o che un disco diceva tramite SMART (sua interfaccia diagnostica) che stava accumulando errori di scrittura?

i RAID in genere rilevano gli errori quando glie li dice il disco fisso, cioè in genere troppo tardi, perchè ci sono errori silenziosi o errori che avvengono semplicemente lasciando i dati nel disco che ovviamente il disco non rileva.

Ed ecco una carrellata di esperti di vario tipo che dicono come il RAID 1 (e anche in vari casi il RAID5-6) non abbia modo di capire quale disco è quello buono.
http://www.storagecraft.com/blog/tru...ta-corruption/
"Unfortunately, RAID is incapable of determining which of the two disks is bad. Therefore, if no failure is detected, the system assumes everything is accurate and data from the corrupted drive is automatically copied to second drive."

http://richardhartmann.de/blog/posts...02/RAID-sucks/
"Controllers which manage RAID 1 or 10 may or may not compare the data while it's being read and may or may not tell you about discrepancies. They can then toss a coin and give you either result. There is no way to determine which is correct. RAID 2, 3, 4, 5, and 6 could, in theory, verify the data as it's being read, but that would limit your read rate to that of a single disk so no one does that."

https://www.necam.com/Docs/?id=54157...d-341cf2cb27d3
(ignorando problemi dovuti a firmware o altro)
Once a silent corruption has occurred, the error can be compounded to a point where the original data can no longer be retrieved or detected even in a RAID system.

http://www.adrc.com/raid_failure_types.html
Not to forget that a RAID configuration with fault tolerance at best only intends toprotect the physical failure, but not logical corruption such as system corruption, virus infection, or inadvertent deletion.

Qui abbiamo un tizio di Intel https://communities.intel.com/thread/55724
Domanda: "So will the Intel RST ever overwrite good data on one drive with corrupted data from another drive? The web page indicates that it might, which would be very bad."
Risposta: "It might because it is copying the existent data from the other disk so if the data is corrupted, all information will be copied as well."


Ripeto, il RAID1 è stato creato per permettere al sistema di sopravviviere al malfunzionamento di un disco fisso, NON per fare da backup, NON per preservare integrità dei dati. Si parla di un tempo remoto in cui i dischi fissi erano arnesi infernali con capacità inferiori al GB.


E di nuovo, ripeto, se non fosse un problema (a livello server grossi) Oracle non avrebbe sviluppato ZFS, Facebook non avrebbe assunto gli sviluppatori di Btrfs, Microsoft non avrebbe fatto il suo filesystem con checksum e parità integrata.


Che alle scale casalinghe vada bene anche un RAID1 visto che è un evento che capita raramente anche in un datacenter, certo, che un RAID1 sia sicuro, no.

[Pancho Villa]

IO la s*******a l'ho fatta pochi giorni fa, ho preso un nuovo hdd da 1 TB da aggiungere al secondo per fare un raid 1, mi sono informato un pochetto e credevo non ci sarebbero stati problemi.

DAl bios ho configurato il raid e al riavvio il panico. La partizione sul vecchio disco è scomparsa!

Dopo varie ricerche frenetiche trovo Testdisk che mi trova una partizione persa sul vecchio disco, provo a ripristinare ma quando vado ad aprire mi chiede di formattare, inoltre risulta di 700 giga inceve che 900 e passa...

L'ulteriore complessità è data dal fatto che la partizione era protetta con bitlocker, nuove ricerche e trovo questo comando da eseguire in console:


repair-bde x: y: -rp CHIAVE_DI_RIPRISTINO_BITLOCKER

dove x è l'unità da recuperare e y: è quella in cui salvare i dati

Lancio il comando e mi tranquilizzo subito, praticamente aveva iniziato a decrittografare l'unità, dopo circa 4 ore ha finito ed è stato necessario lanciare un chkdsk /f sull'unità in cui erano stati travasati i dati, e dopo altre 3 ore incredibilmente ho recuperato tutto! tutto!!!

Praticamente ha clonato la partizione sul nuovo disco, sono rimasti pure i permessi che avevo dato alle cartelle, quasi non ci credevo!

Ora proverò a riconfigurare il raid, previa clonazione su unità esterna, purtroppo il raid 1 implica questo passaggio, che è assurdo, ma è molto più complicato di quanto pensavo!


Ma sono stato MOOOLTO fortunato


PS: Avevo un backup che risaliva però a febbraio

[nazza]

Baboo guarda qui
http://www.hwupgrade.it/forum/showthread.php?t=2710088
si parla di backup 3-2-1, magari trovi qualche spunto!