controller raid oppure no

[frank8085]

vorrei mettere 4 dischi in raid 5, per ottenere le prestazioni teoriche del raid di 375 MB/s devo usare per forza un controller esterno o basta quello della motherboard?
considerato il fatto che sono pochi dischi e si tratta di un ambiente pressoché casalingo (ma non per questo si possono sacrificare le prestazioni) mi pare uno spreco di soldi comprare un controller, se pensate che dovrei comprarlo vorrei prove concrete non supposizioni o pareri discordanti

[frank8085]

adesso ne h appena visto uno ad un prezzo abbordabile
http://www.dell.com/downloads/global...spec-sheet.pdf
costa usato 120€

[teo180]

Premesso che personalmente non utilizzerei mai un raid 5 nemmeno per utilizzo casalingo ma piuttosto un raid 0+1
Utilizzare il controller scheda madre e' fattibile, ma nel caso ti si rompa la scheda madre dovrai sempre recuperarne una uguale per ripristinare correttamente il raid.
Per questo solitamente si tende ad utilizzare controller aggiuntivi

[frank8085]

se non si rompe la motherboard non avrei problemi di alcun tipo nemmeno di prestazioni,
per quanto riguarda la scelta del raid dico un paio di cose:
- il raid 0+1 presenta costi maggiori perché nel mio caso 4 dischi da 2TB li pagherei 360€ in raid 5 e avrei 6TB di archiviazione a 375 MB/s
con raid 0+1 per avere 6TB dovrei arrivare a 6 dischi (quindi 540€)
ti do ragione sulle prestazioni che sarebbero altissime: 675MB/s ma non riuscirei a sfruttarli adeguatamente (dopotutto sono 5.4 gbps)
raid 10 costa di più ma adesso che ci penso è un idea fantastica, rinunciare a 2TB di spazio, mettere 4 dischi in RAID 10, sarebbero già 450 MB/s, decisamente meglio che i 375 MB/s, in rete dovrei mettere 4 porte in aggregazione e si può, poi la motherboard supporta il raid 10 quindi credo che farò cosi, mi hai dato un buon consiglio

[Tasslehoff]

Originariamente inviato da frank8085

se non si rompe la motherboard non avrei problemi di alcun tipo nemmeno di prestazioni,
per quanto riguarda la scelta del raid dico un paio di cose:
- il raid 0+1 presenta costi maggiori perché nel mio caso 4 dischi da 2TB li pagherei 360€ in raid 5 e avrei 6TB di archiviazione a 375 MB/s
con raid 0+1 per avere 6TB dovrei arrivare a 6 dischi (quindi 540€)
ti do ragione sulle prestazioni che sarebbero altissime: 675MB/s ma non riuscirei a sfruttarli adeguatamente (dopotutto sono 5.4 gbps)
raid 10 costa di più ma adesso che ci penso è un idea fantastica, rinunciare a 2TB di spazio, mettere 4 dischi in RAID 10, sarebbero già 450 MB/s, decisamente meglio che i 375 MB/s, in rete dovrei mettere 4 porte in aggregazione e si può, poi la motherboard supporta il raid 10 quindi credo che farò cosi, mi hai dato un buon consiglio

Premetto che anch'io sono perfettamente d'accordo con teo180 riguardo all'inutilità di un array raid 5 (in termini più generali array con parità).

Permettimi un appunto sul tuo calcolo, un array raid 5 costarà meno valutando unicamente il calcolo dei dischi, ma se calcoli anche solo il costo di un controller (facciamo i 120 € che hai citato) + batteria tampone (70-90 €, e quella non la puoi comprare usata, e non dura certo in eterno) arrivi tranquillamente a superare il costo dell'array raid 1+0 (imho preferibile allo 0+1).

Se decidi di risparmiare e non utilizzi la batteria sei costretto a tenere caching in write through (pena il rischio di transazioni fallite e compromissione della consistenza dell'array), quindi performance pesantemente penalizzate in scrittura.
A questo somma il maggiore stress sulle unità, se si tratta di dischi SATA hai già un numero piuttosto limitato di IOPS, in raid 5 generesti uno stress doppio (4 IOPS per ciascuna attività in scrittura) rispetto ad una configurazione raid 1+0 (2 IOPS).
Aggiungi poi il drop drammatico di performance in caso di array degradato, e i rischi legati alla rebuild (stress dovuto al carico normale + stress di rebuild).

In configurazione raid 1+0 (o in generale per qualsiasi configurazione raid priva di calcolo della parità) l'utilizzo di un controller non è poi così significativo, ne in termini di performance che di affidabilità (può essere utile per il monitoraggio e le notifiche, cose che puoi tranquillamente fare via OS).
Anzi io personalmente consiglio di farsi un bell'array raid software piuttosto che usare i fakeraid SATA disponibili con le motherboard di fascia consumer.

[frank8085]

opterò alla fine per un raid 0+1 da 4 unità sata da 2TB, non comprerò nessun controller raid (dato che mi avete detto che in questi casi è pressoché inutile)
non mi faccio problemi a spendere 100€ in più per un altro disco e a spendere in futuro il doppio per espandere il raid sapendo che con raid 5 rischio di penalizzare le prestazioni (per incrementare di una unità di volume ne devo aggiungere due) e sottoporre i dischi a sforzi eccessivi (era importante chiarirlo perché funzioneranno dalle 50 alle 80 ore settimanali)

[Tasslehoff]

Originariamente inviato da frank8085

opterò alla fine per un raid 0+1 da 4 unità sata da 2TB, non comprerò nessun controller raid (dato che mi avete detto che in questi casi è pressoché inutile)
non mi faccio problemi a spendere 100€ in più per un altro disco e a spendere in futuro il doppio per espandere il raid sapendo che con raid 5 rischio di penalizzare le prestazioni (per incrementare di una unità di volume ne devo aggiungere due) e sottoporre i dischi a sforzi eccessivi (era importante chiarirlo perché funzioneranno dalle 50 alle 80 ore settimanali)

Valuta bene se utilizzare un array raid 0+1 (ovvero mirror di array raid0), oppure raid 1+0 (ovvero stripe di array raid1).

Il secondo imho è più solido, nel primo caso alla seconda rottura hai perso la consistenza, nel secondo caso ci sono casistiche in cui puoi sostenerne anche una seconda (ovvero se con un array raid1 in fail si guasta una unità dell'altro array raid1).
In entrambi i casi devi cmq correre per sostituire, valuta se affiancare una unità di hot spare, imho è un ottimo investimento.

[frank8085]

la motherboard supporta solo raid 10, quindi posso optare solo per 1+0, non so se per raid 10 nel sito ufficiale si intendessero entrambe le versioni, ma penso di no

[frank8085]

non mi era molto chiara la differenza tra 0+1 e 1+0, mi sono informato e concludo che in termini di ridondanza è migliore raid 1+0, le prestazioni sono identiche tra i due (almeno sembra), la gestione dello spazio secondo me è migliore 1+0

------------------RAID 0------------------
-------RAID1--------------RAID1---------
----2TB----2TB-------2TB----2TB--------
la struttura è buona basta che non si rompano due dischi dello stesso raid1
capacità totale 4 TB
prestazione massima: 450 MB/s (almeno calcolata su un sito)
be' su questo ho alcuni dubbi
il raid 1 tra due dischi da 2 TB (a 150MB/s l'uno), sono 150MB/s, mettendo in raid 0 i due raid1 sarebbero 300MB/s non 450MB/s
forse la rappresentazione che ho fatto è sbagliata, ma no
il sito che ho visto è questo: http://wintelguy.com/raidperf.pl
mi sapresti spiegare come l'ha calcolato il valore di 450MB/s??
----------------------------aggiornamento------------------------
ho notato che modificando % del disco, si modificano le prestazioni
com'è che lavora effettivamente un disco in raid 10, qual è il rapporto che c'è tra read speed e write speed??
in poche parole:
il valore 450 MB/s è il valore massimo che posso raggiungere in sola lettura o in sola scrittura oppure no
non so perché mi sia venuto questo dubbio

[frank8085]

come s.o metterò free nas, all'inizio pensavo fosse un s.o da poco ma dopo aver visto tutte le funzionalità mi sono convinto
quanta ram mi consiglieresti da installare nel sistema? 4, 8 o 12 GB non saprei, ho letto che consuma molta ram un s.o del genere
bisogna considerare che deve gestire 4 dischi in RAID10

[teo180]

Originariamente inviato da frank8085

come s.o metterò free nas, all'inizio pensavo fosse un s.o da poco ma dopo aver visto tutte le funzionalità mi sono convinto
quanta ram mi consiglieresti da installare nel sistema? 4, 8 o 12 GB non saprei, ho letto che consuma molta ram un s.o del genere
bisogna considerare che deve gestire 4 dischi in RAID10

freenas con cosi tanta ram?
mi pare proprio uno spreco di risorse e di soldi soprattutto.
dal sito ufficiale non specificano nulla, sui vari siti dicono di utilizzare almeno 256mb di ram.
personalmente ho un freenas con PII 350mhz e 128mb di ram che gira senza problemi, ovvio non è cosi prestazionale, e ha un link per ovvie ragioni di 100mb/s e non gigabit, ma fa il suo lavoro da anni.
secondo me se usi un banco da 2gb o se proprio vuoi da 4gb (dato che la differenza di prezzo non è esagerata) sei a posto alla grande.

[frank8085]

io ne volevo comprare 4 finchè non ho letto questo:
1.3.2 RAM (page 11)
The best way to get the most out of your FreeNAS® system is to install as much RAM as possible. If
your RAM is limited, consider using UFS until you can afford better hardware. FreeNAS® with ZFS
typically requires a minimum of 8 GB of RAM in order to provide good performance and stability. The
more RAM, the better the performance, and the FreeNAS® Forums provide anecdotal evidence from
users on how much performance is gained by adding more RAM. For systems with large disk capacity
(greater than 8 TB), a general rule of thumb is 1 GB of RAM for every 1 TB of storage. This post
describes how RAM is used by ZFS.
If you plan to use your server for home use, you can often ignore the thumbrule of 1 GB of RAM for
every 1 TB of storage. If performance is inadequate you should consider adding more RAM as a first
remedy. The sweet spot for most users in home/small business is 16GB of RAM.
It is possible to use ZFS on systems with less than 8 GB of RAM. However, FreeNAS® as distributed
is configured to be suitable for systems meeting the sizing recommendations above. If you wish to use
ZFS on a smaller memory system, some tuning will be necessary, and performance will be (likely
substantially) reduced. ZFS will automatically disable pre-fetching (caching) on systems where it is not
able to use at least 4 GB of memory just for ZFS cache and data structures. This post describes many of
the relevant tunables.
If you plan to use ZFS deduplication, a general rule of thumb is 5 GB RAM per TB of storage to be
deduplicated.
If you use Active Directory with FreeNAS®, add an additional 2 GB of RAM for winbind's internal
cache.....
questo l'ho letto nella guida inglese che ho trovato
e mi ha fatto venire dei dubbi

[frank8085]

secondo me almeno 2 gb ci vogliono considerando il numero di dischi che deve gestire e il tipo di raid
se i valori detti fin ora sono corretti dovrei poter viaggiare a 3.6 gbps in download o in upload, e 1.8 gbps sequenziali in fasi miste
come cpu installo una moderna amd fx 6300 (che ha la potenza di un intel i5 di fascia alta), è necessario che la cpu sia potente poiché potenza è sinonimo di velocità e questo è fin troppo chiaro dai server commerciali (limitati dalla scarsa potenza delle cpu)
se una intel atom d2700 spinge un synology a oltre 300MB/s (in aggregation ovvio), una cpu 8 volte più potente non avrà problemi a raggiungere i 450 (ho visto dei thecus con cpu i3 (ma anche xeon e3) che hanno come opzione l'installazione di un broadcom netxtreme II 10 gbe, figurati, se le mettono come opzione significa che c'è la speranza di avvicinarsi ai 10 gbps, no 20 dato che sono dual port)
quanto utilizzerò la cpu non lo so, almeno sopra il 50%

[Dane]

ma si può sapere cosa devi farci?
un nas o un server?

- opzione nas
freenas si mangia tanta ram se decidi di usare ZFS.
Non mi ricordo se ti fa il raid 10 (o un suo equivalente).

discorso performances: oltre i 100Mb/s teorici non ti basta la singola scheda ethernet. Sia da dal nas allo switch che dallo switch al pc. Quindi dovresti prendere uno switch managed (che ti permetta di fare l'aggregation) o andare di 10Gb (che non costa poco).
A quei 100Mb/s non sempre ci arrivi in sequenziale, figurarsi in letture/scritture casuali....

- tutte le opzioni.
Se dovranno girarci VM o intendi metterci TANTI files o metterci su dei DB il raid10 ha un senso: il reparto dischi forse dovrà sopportare molti IOPs.
Se perlopiù si tratterà di iso, film e simili te ne puoi fregare allegramente.
Metti un raid6 (doppia parità) o un equivalente zfs Z-2.

Lascerei perdere i controller integrati nelle schede madri: se si rompe la mobo devi sperare di trovarne una che ti "importa" in qualche modo l'array. Difficilmente avrai vantaggi prestazionali rispetto ad un software raid (il quale "per definizione" può importare un qualsiasi array ovunque).

Personalmente farei raid10 per server soggetto a carico di IOPs. E' interessante il discorso di linux mdadm raid10 con il layout offset, forse aumenta di poco gli IOPs a scapito della ridondanza. Il layout far forse torna utile nel caso di letture sequenziali.
Se invece decidi di destinarlo ad un nas farei un raid5 di 3 dischi e userei il quarto per i backup. Se per caso l'array va gambe all'aria (già visto) hai almeno alcuni dati da un'altra parte.
Sempre in ottica di nas: gli intel in idle, se downvoltati, rispetto ad amd consumano qualcosa in meno.

[frank8085]

ho comprato appositamente uno switch gestito per aggregare 4 porte gbe per ogni dispositivo (10 gbe è troppo caro, magari tra qui 4 anni avrà dei buoni prezzi, intendo una schede single port su rame o fibra a meno di 100€)
ecco sulla sequenzialità avevo già alcuni dubbi, penso che 450 MB/s siano in lettura in scrittura non ne ho idea (i dischi di per se viaggiano a 150 MB/s sequenziali ma non è detto che sia cosi anche nel raid)
ormai comunque ho deciso per raid 10, il raid 6 non è male ma non è così performante e poi i dischi sarebbero sottoposti a carichi maggiori
-----------

beh con intel spenderei molto di più, la fx6300 costa 105€ un i5 equivalente 160€, per non parlare della motherboard, sto cercando di ridurre i costi al minimo senza compromettere le prestazioni
---------------
se non uso il controller della mobo devo per forza comprare questo controller fatidico, ma la mia domanda è: perché si dovrebbe rompere la mobo? da quanto ha detto teo180
Utilizzare il controller scheda madre e' fattibile, ma nel caso ti si rompa la scheda madre dovrai sempre recuperarne una uguale per ripristinare correttamente il raid.
Per questo solitamente si tende ad utilizzare controller aggiuntivi
da questa frase si capisce che i controller vengano usati in due situazioni:
- tanti dischi da gestire con complesse configurazioni raid (non è il mio caso gestendo solo 4 dischi)
- per evitare di perdere i dati dell'array (ragionamento valido ma da un'altra frase di teo180 si capisce che basta trovare una motherboard simile, nel mio caso basta che sia della stessa marca dato che sono tutti uguali i software di gestione asrock)

inoltre tasslehoff ha detto che un controller raid non fa tanto la differenza in termini di prestazioni in situazioni come raid 1+0 o 0+1, la differenza la si vedrebbe nel tuo caso, dove hai proposto il raid 6 che prevede il calcolo di parità
leggi il messaggio #5,
se non sei d'accordo con quello che hanno detto puoi sempre discuterne con loro, basta che io alla fine possa prendere una decisione univoca

[frank8085]

adesso sto provando free nas su virtual box ma non riesco a far partire l'installazione
all'inizio tutto bene, poi dopo aver fatto vedere le opzioni e dopo aver fatto parti in auto l'installer
dice questo:
http://img9.imageshack.us/img9/8236/pozc.png

[Dane]

Ripeto: non hai detto a cosa ti servirà. Cosa ci dovrai fare e quant'altro.
Da lì in poi ti possiamo consigliare. Altrimenti più di dire in generale cosa va meglio non possiamo fare.

inoltre tasslehoff ha detto che un controller raid non fa tanto la differenza in termini di prestazioni in situazioni come raid 1+0 o 0+1, la differenza la si vedrebbe nel tuo caso, dove hai proposto il raid 6 che prevede il calcolo di parità
leggi il messaggio #5,
se non sei d'accordo con quello che hanno detto puoi sempre discuterne con loro, basta che io alla fine possa prendere una decisione univoca

Non sono io a dover discutere con gli altri quale raid è più adatto a fare X.
Sei tu che devi dire con una certa precisione cosa intendi fare con questo "pc" che a mio avviso ha sempre più le sembianze di un semplice nas di condivisione di film e iso.
Se devi fare TANTE operazioni di IO (quindi metterci sopra DB o VM) il raid5/6 è penalizzante rispetto al raid10, dato che non c'è bisogno di calcolare la parità.
Se devi usarlo per una condivisione di files "'gnurante" imho non ti accorgerai della differenza.
Se ti serve un datastore per metterci sopra delle VM valuta seriamente l'ipotesi di far tutto su un singolo "picione". Quindi non un pc per lo storage e uno per virtualizzare, ma uno unico (ti togli il dover passare dalla rete).


ti riporto due scenari e relative configurazioni, poi vedi tu cosa preferisci fare.
- nas per condividere files:
processore intel celeron/pentium downvoltato (va veramente poco meno di un i3), 4Gb di ram, scheda di rete gigabit integrata, array di dischi in raid5/6 (o zfs). Una qualsiasi distribuzione per fare nas. Dall'esperienza, senza dischi dovresti stare intorno ai 15W in idle, con un picopsu. Con un alimentatore normale alla peggio 25W. Aggiungi per ogni disco da 3,5" 5W in idle e fino a 20W di picco, per stare larghi.
- nas per farci cose un po' più serie (ma non ha senso spenderci tutti questi soldi su un "picione". Prenditi direttamente un server)
processore tipo i5 o fx, 16/32gb di ram (se intendi usare zfs, che forse è il caso), una scheda di rete dual o quad port in aggregation, array di dischi in zfs (se raid10 tanto meglio), possibilmente con un SSD di caching. Esporti i dischi tramite NFS o iSCSI. Se trovi una scheda infiniband o fibrechannel usata TANTO meglio (non passi nemmeno sullo switch). Mettere una distro più seria del solito freenas: tanto di guadagnato.

[frank8085]

opto per l'opzione B, ma voglio capire esattamente qual è questa distro di cui parli e se gira anche lei da chiavetta
e quali e cosa sono queste funzionalità aggiuntive perché sono davvero interessato all'argomento
in tal caso sono ben disposto a spendere soldi in ram aggiuntiva che prima trovavo senza senso, a 16 gb ci arrivo (8 li compro e 8 li prendo dal mio pc che ha 32gb di ram e di solito non ne uso più del 60%)
comunque non voglio che i costi aumentino più di tanto, se l'so gira da un hdd dedicato allora mi toccherà spendere 50€ per l'hard disk poi, 30€ per una scheda grafica(forse non necessaria), poi (e non è ancora finita) 20€ per un lettore dvd e un botto in più per la ram (anche se mi posso arrangiare come ho detto qui sopra e aggiungere solo 35€ al costo totale)
dimmi esattamente cosa dovrei comprare

[teo180]

Non tutte le asrock sono uguali per far funzionare un raid, il tutto dipende dal chipset utilizzato in fase di progettazione

Per i consumi sei stato molto basso
Un i3 con relativa scheda madre consuma sui 45-50w in idle con picopsu.
Se vuoi consumare meno devi optare per motherboard con atom che stanno sui 25w con picopsu
15w, 12 per la precisione li vedo con il mio epia 5000 che in confronto ha prestazioni scarsissime e non è adatto per un NAS spinto e sinceramente un pc che consuma meno di lui non l'ho ancora visto

[frank8085]

non sono stato io ad essere basso, è stato dane a fare quelle stime
a me mi interessa poco basta che non mi consumi più di 150 w
so che gli fx di amd non sono i più ecologici processori che esistono


quale sarebbe questo s.o alternativo??