NAS casalingo Vs NAS commerciale

[4GateRush]

Originariamente inviato da AMD_Edo

L'N54L é l'ultimo nato della famiglia e ha un processore con un clock piú alto (a paritá di consumi). ZFS richiede molta piú capacitá computazionale rispetto ad un mdam o ad un file system "tradizionale" (ext, xfs, jfs...).
Visto che ti stai orientando su un ottimo microserver della HP tanto vale spendere qualcosina in piú e prendere la versione piú potente (e quindi piú performante).

quello che dici è vero in assoluto, ma c'è da vedere se è vero nel caso specifico... se usi zfs per fare mero storage.. non usi poi tutta questa capacità computazionale...
e spendere qualcosina in più dipende.. un modello "vecchio" lo trovi a 130-150 euro... n54l a quanto?

[AMD_Edo]

Originariamente inviato da 4GateRush

quello che dici è vero in assoluto, ma c'è da vedere se è vero nel caso specifico... se usi zfs per fare mero storage.. non usi poi tutta questa capacità computazionale...
e spendere qualcosina in più dipende.. un modello "vecchio" lo trovi a 130-150 euro... n54l a quanto?

ZFS é pesantuccio... a maggior ragione con un raidz1 o addirittura raidz2. Secondo me fa differenza trasferire files a 40 Mb/sec o a 90 Mb/sec ma tutto dipende dal budget del nostro amico.

[4GateRush]

Originariamente inviato da AMD_Edo

ZFS é pesantuccio... a maggior ragione con un raidz1 o addirittura raidz2. Secondo me fa differenza trasferire files a 40 Mb/sec o a 90 Mb/sec ma tutto dipende dal budget del nostro amico.

argomenti meglio il tuo punto? grazie.

[AMD_Edo]

Originariamente inviato da 4GateRush

argomenti meglio il tuo punto? grazie.

Cosa vorresti che argomentassi? ZFS? O perchè un raidz ZFS è piú cpu-intensive di mdadm + lvm?
Riguardo al primo (ZFS) trovi diversi wiki interessanti usando google (ma se sei pigro te ne indico alcuni: qui e quello di amministrazione della Solaris qui)

Se invece vuoi sapere perchè zfs é piú cpu-intensive di mdadm + lvm ti suggerisco di leggere le funzioni (in piú) che svolge il file system della Sun. (Ti anticipo qualcosa: copy on write, checksum di 256bit su ogni blocco (a dimensione variabile) che viene verificato ad ogni lettura, scheduling deadline, prefetch automatico, operazioni di i/o sulle directory in parallelo, ordinamento e aggregazione dell'i/o.)

Riguardo alla velocitá di trasferimento di un N40L con 4 dischi in raidz trovi un'ampia documentazione su internet... e si parla sempre di 40 - 50 Mb per secondo.
Per ottenere maggiori velocitá bisogna creare un pool di dischi singoli...

Se invece vuoi qualche informazione specifica chiedi pure

[Enigma_lan]

Da quello che ho capito , molti di voi utilizzano il file system ZFS , io uso e utilizzerò sempre EXT4 Debian forever .
Secondo voi è più sicuro il file system ZFS in un NAS?

[Juspriss]

Originariamente inviato da AMD_Edo

L'N54L é l'ultimo nato della famiglia e ha un processore con un clock piú alto (a paritá di consumi). ZFS richiede molta piú capacitá computazionale rispetto ad un mdam o ad un file system "tradizionale" (ext, xfs, jfs...).
Visto che ti stai orientando su un ottimo microserver della HP tanto vale spendere qualcosina in piú e prendere la versione piú potente (e quindi piú performante).

Guardando il 330 che sto usando, con 2 ZFS in mirroring e 2 ZFS in solo, non ho mai notato problemi computazionili..
Intendi che in caso di raidz è necessario avere una CPU più performante?

[4GateRush]

Originariamente inviato da AMD_Edo

Cosa vorresti che argomentassi? ZFS? O perchè un raidz ZFS è piú cpu-intensive di mdadm + lvm?
Riguardo al primo (ZFS) trovi diversi wiki interessanti usando google (ma se sei pigro te ne indico alcuni: qui e quello di amministrazione della Solaris qui)

Se invece vuoi sapere perchè zfs é piú cpu-intensive di mdadm + lvm ti suggerisco di leggere le funzioni (in piú) che svolge il file system della Sun. (Ti anticipo qualcosa: copy on write, checksum di 256bit su ogni blocco (a dimensione variabile) che viene verificato ad ogni lettura, scheduling deadline, prefetch automatico, operazioni di i/o sulle directory in parallelo, ordinamento e aggregazione dell'i/o.)

Riguardo alla velocitá di trasferimento di un N40L con 4 dischi in raidz trovi un'ampia documentazione su internet... e si parla sempre di 40 - 50 Mb per secondo.
Per ottenere maggiori velocitá bisogna creare un pool di dischi singoli...

Se invece vuoi qualche informazione specifica chiedi pure

dalla documentizione che citi e che ho letto e studiato da tempo non vedo dove sia così cpu intensive... da giustificare l'uso di super CPU..
la velocità di trasferimento cmq la puoi aumentare anche aggiungendo dei dischi di cache ssd...

cmq 4 dischi in radiz1 è una pessima configurazione, anche per questo motivo si hanno prestazioni basse... meglio seguire un layout di dischi 2^n + 1 per uno RAIDZ1

[AMD_Edo]

Originariamente inviato da Enigma_lan

Da quello che ho capito , molti di voi utilizzano il file system ZFS , io uso e utilizzerò sempre EXT4 Debian forever .
Secondo voi è più sicuro il file system ZFS in un NAS?

ZFS é attualmente il file system (riduttivo chiamarlo solo file system) piú sicuro per il contenimento dei dati.

Originariamente inviato da Juspriss

Guardando il 330 che sto usando, con 2 ZFS in mirroring e 2 ZFS in solo, non ho mai notato problemi computazionili..
Intendi che in caso di raidz è necessario avere una CPU più performante?

Sul mio acer H340 e su vari H341 (con processore D525) un RaidZ di 4 dischi non va oltre i 45 Mbyte al secondo...

Originariamente inviato da 4GateRush

dalla documentizione che citi e che ho letto e studiato da tempo non vedo dove sia così cpu intensive... da giustificare l'uso di super CPU..
la velocità di trasferimento cmq la puoi aumentare anche aggiungendo dei dischi di cache ssd...

cmq 4 dischi in radiz1 è una pessima configurazione, anche per questo motivo si hanno prestazioni basse... meglio seguire un layout di dischi 2^n + 1 per uno RAIDZ1

4GateRush rispetto giustamente le tue idee anche se non coincidono con le mie esperienze quotidiane... peró spiegami dove sto consigliando una supercpu? nel N54L c'é un Turion II da 2,2 ghz e non uno Xeon.

[4GateRush]

Originariamente inviato da AMD_Edo

4GateRush rispetto giustamente le tue idee anche se non coincidono con le mie esperienze quotidiane... peró spiegami dove sto consigliando una supercpu? nel N54L c'é un Turion II da 2,2 ghz e non uno Xeon.

ho esagerato nel commento precedente quello che intendevo è che non vedo io una relazione tra potenza computazionale - velocità di lett/scritt..
o almeno non apprezzabile.. tra le due cpu... poi se mi indichi dove trovare della documentazione relativa alle best practices da seguire nel dimensionamento della cpu.. la leggo con piacere... nella documentazione Oracle non ho trovato nulla...
non voglio mettere in dubbio i tuoi consigli, vorrei solo verificarli e capire meglio.

[Juspriss]

Originariamente inviato da AMD_Edo

Sul mio acer H340 e su vari H341 (con processore D525) un RaidZ di 4 dischi non va oltre i 45 Mbyte al secondo...

Non potrebbe essere una questione di driver del chipset?

[AMD_Edo]

Originariamente inviato da 4GateRush

ho esagerato nel commento precedente quello che intendevo è che non vedo io una relazione tra potenza computazionale - velocità di lett/scritt..
o almeno non apprezzabile.. tra le due cpu... poi se mi indichi dove trovare della documentazione relativa alle best practices da seguire nel dimensionamento della cpu.. la leggo con piacere... nella documentazione Oracle non ho trovato nulla...
non voglio mettere in dubbio i tuoi consigli, vorrei solo verificarli e capire meglio.

Ti consiglio di farti un giro sui forum di FreeNas 8 e di Nas4Free... é pieno di esempi e suggerimenti...

Io ti posso dire che prestazioni ha un N40L con zfs e con mdam:

N40L con 8 GByte di ram ecc (bios modificato per poter gestire in ahci il 5to hd)
5x Seagate 2TByte 7200 rpm

raidz1 (con ashift 12, senza compressione dei dati e deduplicazione) velocitá di lettura/scrittura 56/54 Mbyte al secondo con NFS v3 (trasferimento continuo di archivi di oltre 9 GByte)

mdadm con raid level 5 e formattazione in xfs (partizioni create allineate con parted) velocitá di lettura/scrittura 98/93 Mbyte al secondo con NFS v3 (i medesimi archivi)

In entrambi i casi i blocchi del raid erano di 512Kbyte

Certo, lavorando con lArc puoi ottenere qualche miglioria ma solo del tipo "coperta corta": o miglioro la lettura a scapito della scrittura o miglioro la scrittura a scapito della lettura..

D'altro canto é comprensibile:
supponiamo di archiviare un file di 8 Gbyte, questo verrá diviso in 16384 blocchi da 512 Kbyte l'uno... per ognuno di essi zfs effettua un checksum in sha256 (questo era l'algoritmo da me scelto, ma ce ne sono altri) e salva questo valore assieme al blocco.
Nel momento della lettura viene letto il blocco, il checksum ed effettuato il controllo.
Questo processo comporta ovviamente un carico per la cpu...

Per questo, ritorno a dire, zfs é piú pesante di mdadm e lvm... ma non é roba da Xeon!

Certo, installando uno o piú ssd puoi migliorare la scrittura facendo da tampone... ma la maggiore complessitá di zfs rimane. D'altro canto é normale, zfs attualmente é, a mio avviso, il miglior file system per lo storage. Vedremo come si evolverá btrfs.

Originariamente inviato da Juspriss

Non potrebbe essere una questione di driver del chipset?

No perchè questa differenza di prestazioni non é dovuta alla scheda di rete o al controller dei dischi ma solo al maggior numero di calcoli che la cpu deve effettuare.

Una cosa vorrei lasciare chiaro: il fatto che zfs sia piú pesante di mdadm + lvm + filesystem non vuol dire che sia inferiore... anzi! Le funzioni che ha zfs lo pongono in cima!

Invito a provare zfsOnLinux!

Ave!

[4GateRush]

io i forum non li giro, uso la documentazione ufficiale.
Te lo consiglio sinceramente.

Pensavo mi dicessi dove vedere il dimensionamento della cpu sulla Solaris Administrator Guide... in ogni caso i tuoi dischi se provi a fare un benchmark in locale che dati danno? a prescindere dal trasferimento via rete..
anche una cosa banale usando iostat giusto per avere un'idea..

[Juspriss]

Originariamente inviato da AMD_Edo

No perchè questa differenza di prestazioni non é dovuta alla scheda di rete o al controller dei dischi ma solo al maggior numero di calcoli che la cpu deve effettuare.

Una cosa vorrei lasciare chiaro: il fatto che zfs sia piú pesante di mdadm + lvm + filesystem non vuol dire che sia inferiore... anzi! Le funzioni che ha zfs lo pongono in cima!

Invito a provare zfsOnLinux!

Ave!

Guardando in rete, ho trovato N40L con trasferimenti più performanti.. (per esempio, questo N40L).
Sul forum di whirlpool poi, a chi ha trasferimenti sull'ordine dei 40/50MB/s, consigliano di installare i driver per arrivare a 90MB/s (con N36/40L, ma non ho trovato altro sulla configurazione).
Non voglio darti contro AMD_Edo, ma vorrei solo capire meglio

[4GateRush]

5 x 2Tb Drives (ZFS-RaidZ2), formatted 512K sectors (v.151a has no support for 4k sectors that I can find)
* -----------------------------------------------------------

dd if=/dev/zero of=/tank/test.dat bs=2048k count=50k
64.622 seconds (140427796 bytes/sec) -- 133.922Mb/s

dd if=/tank/test.dat of=/dev/null bs=2048k count=50k
360.901043 secs (297516963 bytes/sec) -- 283Mb/s


ed è un raidz2... quindi maggior lavoro per la cpu no?

e si parla di OpenIndiana.. molto dietro come prestazioni rispetto a Solaris 11....

che in nfs vada a 50mb/s.. secondo me è da imputare non al FS.
Se vuoi facciamo dei test

[Juspriss]

Originariamente inviato da 4GateRush

5 x 2Tb Drives (ZFS-RaidZ2), formatted 512K sectors (v.151a has no support for 4k sectors that I can find)
* -----------------------------------------------------------

dd if=/dev/zero of=/tank/test.dat bs=2048k count=50k
64.622 seconds (140427796 bytes/sec) -- 133.922Mb/s

dd if=/tank/test.dat of=/dev/null bs=2048k count=50k
360.901043 secs (297516963 bytes/sec) -- 283Mb/s


ed è un raidz2... quindi maggior lavoro per la cpu no?

e si parla di OpenIndiana.. molto dietro come prestazioni rispetto a Solaris 11....

che in nfs vada a 50mb/s.. secondo me è da imputare non al FS.
Se vuoi facciamo dei test

Attento.. Mb sta per Megabit.. penso che nel tuo quote Mb stia per MB in realtà

p.s. tuttavia, guardando sul forum di freenas in molti riportano un problema di "breathing" (picchi di trasfert rate). Intendi questo AMD_Edo?

[AMD_Edo]

Originariamente inviato da Juspriss

Guardando in rete, ho trovato N40L con trasferimenti più performanti.. (per esempio, questo N40L).
Sul forum di whirlpool poi, a chi ha trasferimenti sull'ordine dei 40/50MB/s, consigliano di installare i driver per arrivare a 90MB/s (con N36/40L, ma non ho trovato altro sulla configurazione).
Non voglio darti contro AMD_Edo, ma vorrei solo capire meglio

Linux o BSD non hanno drivers, al massimo moduli kernel da compilare.
Da quello che so tutta la serie N40L e N54L é gestita piú che bene da Linux a partire dal kernel 2.6 e da FreeBsd a partire dalla revisione 9.x
Hai qualche link da suggerirmi?

Originariamente inviato da 4GateRush

5 x 2Tb Drives (ZFS-RaidZ2), formatted 512K sectors (v.151a has no support for 4k sectors that I can find)
* -----------------------------------------------------------

dd if=/dev/zero of=/tank/test.dat bs=2048k count=50k
64.622 seconds (140427796 bytes/sec) -- 133.922Mb/s

dd if=/tank/test.dat of=/dev/null bs=2048k count=50k
360.901043 secs (297516963 bytes/sec) -- 283Mb/s


ed è un raidz2... quindi maggior lavoro per la cpu no?

e si parla di OpenIndiana.. molto dietro come prestazioni rispetto a Solaris 11....

che in nfs vada a 50mb/s.. secondo me è da imputare non al FS.
Se vuoi facciamo dei test

Bha... io quelle prestazioni non le ho mai viste sugli N40L... sarei curioso di vedere quali funzioni hanno attualmente attive nei loro pool ZFS.
Se tu le otterrai ben venga... io le ho solo su server xeon o opteron.

[Juspriss]

Originariamente inviato da AMD_Edo

Linux o BSD non hanno drivers, al massimo moduli kernel da compilare.
Da quello che so tutta la serie N40L e N54L é gestita piú che bene da Linux a partire dal kernel 2.6 e da FreeBsd a partire dalla revisione 9.x
Hai qualche link da suggerirmi?

Pienamente d'accordo. Mi sono dimenticato di specificare che, nei casi in cui consigliano l'installazione dei driver, si riferiscono a configurazioni con Windows.

Originariamente inviato da AMD_Edo

Bha... io quelle prestazioni non le ho mai viste sugli N40L... sarei curioso di vedere quali funzioni hanno attualmente attive nei loro pool ZFS.
Se tu le otterrai ben venga... io le ho solo su server xeon o opteron.

Andiamo con ordine:
- iniziamo da cosa è il "breathing issue", qui e qui;
- il problema non sembra dipendere dalla potenza di calcolo (n36l qui, Atom qui);
- la versione del bios può influenzare le prestazioni, ma non influenzano il "breathing", qui;
- sembra che il problema riguardi il controller (in senso lato). Infatti, usare un controller dedicato invece del controller della mobo risolve il problema, qui;

Avevo trovato anche un riferimento che con Nas4Free (che usa un modulo diverso da quello di FreeNas per gli ZFS) il "breathing issue" non c'è. Tuttavia, non riesco più a trovarlo..

p.s. nello stesso thread si parla anche del checksumming, a cui ne accennavi qualche post fa

[AEgYpT]

Ciao ragazzi, ovviamente non posso leggermi 101 pagine di topic, quindi mi scuso se la mia domanda è stata già posta infinite volte.

Stavo optando per l'acquisto di un Synology DS212J ma poi mi è venuto in mente che potrei acquistare dell'hardware e farmelo utilizzando poi FreeNAS.

Pensavo ad una cosa tipo:

PSU: Corsair VS350
Ram: Corsair Value 1333Mhz 2x2GB CL9 DDR3
Mobo: AsRock 970DE3/U3S3
CPU: AMD Sempron 145 2.8GHz 45W oppure AMD Athlon II X2 250 3.0GHz 65W

Il costo di un DS212J è intorno ai 175€ (spedito), il costo dell'hardware è di 150€ (spedito) o di 162€ (spedito) a seconda di quale processore scelgo alla fine.

A livello hardware mi sembra non ci sia paragone, con 10/20€ in meno ho qualcosa di sicuramente molto più prestante e comunque "upgradabile" (il DS212J è un 1.2ghz con 256mb di ram ddr2).

Che il nas già fatto sia più compatto e probabilmente carino lo so già; che consuma meno pure (anche se comunque non intendo tenerlo acceso 24/7, quindi il problema sarebbe relativo).
Sorvolando quindi su questi due fattori c'è altro che dovrei sapere?

Quali sono i vantaggi e gli svantaggi da considerare per la scelta fra un DS212J e un nas con l'hardware descritto + freenas?

Ma soprattutto: il sistema operativo del DS212J è migliore di FreeNas? Questo sarebbe l'aspetto non riproducibile su un nas autocostruito, quindi è molto importante sapere se è migliore, peggiore o uguale.

[Kikko2000]

Originariamente inviato da AEgYpT

PSU: Corsair VS350
Ram: Corsair Value 1333Mhz 2x2GB CL9 DDR3
Mobo: AsRock 970DE3/U3S3
CPU: AMD Sempron 145 2.8GHz 45W oppure AMD Athlon II X2 250 3.0GHz 65W

Anche io ho i tuoi stessi dubbi, e credo che alla fine costruirò un serverino che è molto più flessibile. Posso chiederti come mai non hai considerato una asrock E350M1/USB3 (apu+mobo) che costa uguale ma consuma molto meno?
Nel prezzo hai anche considerato il case, che però non hai scritto?
(io sto considerando il Cooler Master Elite 120 Advanced).

Ciao.

[andrew81]

Originariamente inviato da AMD_Edo

Io aggiornerei Nas4Free all'ultima versione (usi la embedded vero?)... prova comunque con la live di FreeNas per vedere cosa succede, in teoria dovrebbe riconoscerti il volume zfs perché l'avevi creato appunto con la versione 7.

E' strano quello che ti succede perché su un mio nas, quello che uso per fare gli esperimenti, (Atom 230 1,6Ghz HT - 2Gbyte RAM, 4x 1TB Seagate) il raidz1 ha velocità di trasferimento oscillanti tra i 70 e gli 85 MByte al secondo (usando i tweaks che ti ho passato).

----- AGGIORNAMENTO ----

É inutile provare con la live di FreeNas 7 perchè ho letto che Nas4Free aggiorna la revisione del Pool portandola alla .28 (mi sembra) e quindi FreeNas (che usa la .25 se non sbaglio) non ha modo di riconoscerla...

Originariamente inviato da AMD_Edo

Ho trovato qui qualcosa a riguardo (é in un altro forum) peró parla del "contrario", ossia del perchè Nas4Free é piú veloce di FreeNas 8. Pare sia dovuto all'attivazione da parte di Nas4Free del prefetch di ZFS... prova a dare un'occhiata andrew81, magari nel tuo nas tale opzione é disabilitata.

Aggiornamento: ho montato il pool su una live di freenas che adesso usa ZFS versione .28 e quindi lo riconosce con l'autoimport senza problemi. Velocità identica sui 50Mb/s. Ho poi abilitato i prefetch che erano disabilitati ma la differenza prestazionale è leggerissima. Ho provato ZFS Tune ma idem come sopra. Ho overclockato il C60 da 1 Ghz a 1.1 Ghz e si nota un lieve miglioramento andando verso i 55 Mb/s.

Stessi risultati con NFS che con SAMBA, anzi NFS è un po' più lento. Anche con un cavo diretto CAT6 tra PC e NAS (escludiamo quindi il router).

Morale della favola, sembra che la configurazione 6 dischi RAIDZ1 (18 Tb) sia molto meno performante della 3 dischi (9 Tb) e necessiti di più potenza computazionale, per ottenere un buon throughput. Diciamo che un po' era da aspettarselo... l'importante è capire