Costruire un NAS fai da te: come scegliere l'hardware

[giuliop]

Originariamente inviato da joe4th

Con soft-raid non mi riferivo al software RAID gestito da Linux, piuttosto a quello che e' noto anche come fake-RAID.

Mi era chiaro

Una curiosità OT: cosa stai usando, che ha convertito le accentate del mio post in lettera+apostrofo? Grazie.

[giuliop]

Originariamente inviato da _Jack_

Vi racconto la mia scelta controcorrente che ho fatto un paio di anni fa e che forse a più di uno farà storcere il naso.[...]

Io dico che hai fatto benissimo: hai risolto le tue esigenze nel modo a te più consono.

L'unica cosa su cui ho i miei dubbi è che la migliore implementazione di SMB sia quella di Microsoft

[as2k3]

seguo

[William Somerset]

Originariamente inviato da giuliop

Penso che sia il segreto di Pulcinella (fra l'altro citato anche all'inizio del thread), ovvero fare girare il software di Synology (DSM) su hardware generico.

Personalmente uso OMV (virtualizzato) da un po', non so che bug abbia trovato l'altro utente, ma io lo trovo stabilissimo e molto flessibile: non vedo alcun motivo per imbarcarsi in una soluzione che come minimo è legalmente dubbia, quando ci sono delle alternative free altrettanto valide.

Anch'io uso OMV da oltre un annetto ormai, e non ho mai avuto problemi, solo un paio di bug insignificanti che mi sono risolto da solo in attesa che venissero fixati (e sono stati poi effettivamente fixati).

Coi plugin + docker ci si fa già di tutto, sotto poi c'è Debian, per cui volendo ci si fa davvero di tutto e di più.

DSM su hardware non Synology proprio non lo concepisco invece...

[joe4th]

Originariamente inviato da giuliop

Mi era chiaro

Una curiosita' OT: cosa stai usando, che ha convertito le accentate del mio post in lettera+apostrofo? Grazie.

ffox. Purtroppo quando quoti caratteri accentati li espande in unicode in maniera sbagliata, per cui ti trovi delle schifezze illeggibili (che crescono ad ogni giro di quote), tipo questo (Ã*), per cui preferisco la lettera + apostrofo. Succede solo qui.

[giuliop]

Originariamente inviato da joe4th

ffox. Purtroppo quando quoti caratteri accentati li espande in unicode in maniera sbagliata, per cui ti trovi delle schifezze illeggibili (che crescono ad ogni giro di quote), tipo questo (Ã*), per cui preferisco la lettera + apostrofo. Succede solo qui.

Ffox sta per Firefox? Ma su Linux? Perché lo uso anch'io (su macOS, in questo momento) e non mi succede.

[FreZeeN]

Originariamente inviato da demon77

Scusa, esattamente come hai connesso quattro hdd al raspberry?
Per l'alimentazione come hai fatto?
Gli HDD vanno in spindown e vengono gestitti correttamente dal raspberry anche se connessi via USB?

Anche io avevo valutato il raspberry ma ho poi lasciato stare per le troppe incognite

cerca su google:
QUAD SATA KIT FOR RASPBERRY PI 4 di allnetchina

sono 4 dischi sata da 2,5" compreso case e alimentazione, qualcuno ha chiesto che velocita' raggiungo... non saprei dire il picco massimo , perche' i miei dischi sono da 210mb/s ognuno e li raggiungo, ma credo che il trasrferrate sia limitato dal bus usb3.0, 500mb/s o poco piu'.. ma capirai, e' un nas casalingo e server multimediale per uno, due, massimo 3 users in contemporanea , 210mb/s del disco mi basta..che ci devi fare con tutto questo transfer rate? , non uso raid perche' non voglio perdere spazio per i spare e l'affidabilita' non mi serve visto che sincronizzo in realtime su gdrive piu' creo delle snap di ripristino ogni 24h.

[joe4th]

Originariamente inviato da giuliop

Ffox sta per Firefox? Ma su Linux? Perché lo uso anch'io (su macOS, in questo momento) e non mi succede.

Si. Non so e' strano. Succede solo qui. Forse vBulletin 3.6 e' troppo vecchio e non riesce a fare correttamente lo switch a UTF-8 per cui mixa con 8859-1.

[mally]

Originariamente inviato da giuliop

...

se si vuole costruire un nas si compra una scheda madre con sv integrata (visto che si userà solo in fase di installazione) e cpu integrata, che abbia porte gigabit e almeno 4 porte sata. Serve poi un case adeguato ed un alimentatore sufficiente per alimentare i dischi. La questione dei consumi è fondamentale, visto che il device sarà acceso h24. Non avendo un DE da gestire 4GB sono piu' che sufficienti, al massimo 8GB. 500€ per una macchina senza dischi è fuori di testa, totalmente non concorrenziale contro soluzioni già pronte. Ci sono addirittura schede mini itx alimentabili con alimentatori a saponetta che evitano l'uso di alimentatori standard ATX che sotot certi consumi hanno rendimenti discutibili...

[Slater91]

Originariamente inviato da joe4th

Anche il discorso del mettere una scheda GT710 perche' costa solo 30E ed e' fanless lascia il tempo che trova. Meglio una motherboard col processore o chipset video onboard. Come dice Ford, "Quello che non c'e' non si rompe" (pensate alla rottura, a causa del calore, delle spine di plastica che fissano il dissipatore fanless, tramite delle molle, successo).

Originariamente inviato da icoborg

quello proposto nell'articolo suppongo sia usato anche con plex altrimenti la svideo dedicata non ha senso.

Senza ironia: non capisco se sono io in difetto nello spiegare le cose o se c'è un problema di comprensione da parte dei lettori. È chiaramente scritto che "È necessaria solo in fase di installazione del sistema", il che implica che poi possa essere rimossa. Come avrei potuto rendere la cosa più chiara di così?

Originariamente inviato da joe4th

Infine l'importanza del RAID. C'e' una bella differenza tra l'avere il RAID hardware, gestito da un controller serio, magari con batteria di backup, e l'utilizzare il soft-raid del controller onboard della motherboard, propagandato come controller RAID. Nel primo le informazioni sull'array dei dischi, sono sui dischi stessi, nel secondo sono nella NVRAM della motherboard.

Da quello che so io il problema di un controller RAID è che le informazioni sono sì sui dischi, ma sono gestite dal controller e infatti il problema principale in caso di guasto del controller è trovarne uno identico per non dover buttare via tutti i dati. Nel caso di un soft RAID sono d'accordo con te se usi quello della scheda madre (orrore!), ma altrimenti dipende anche dal file system: ZFS, ad esempio, scrive tutte le informazioni sul RAID sui dischi e puoi tranquillamente ricostruire il RAID su un'altra macchina semplicemente spostando i dischi.

Originariamente inviato da demon77

Questo mi interessa molto.
Quale software conti di utilizzare?

L'idea è di dare una visione d'insieme di cosa si può usare. Tra le varie opzioni che sto approfondendo: Nextcloud (come software in generale, indipendentemente dalla piattaforma sottostante), OpenMediaVault, TrueNAS Core (ex FreeNAS), XigmaNAS, unRAID. Includerò anche VMware ESXi e Proxmox come opzioni per gestire il dispositivo come fosse un microserver su cui poi innestare i vari servizi.

Originariamente inviato da demon77

Perchè?
Quali vantaggi da usare ZFS rispetto magari ad EXT4 che comunque è ottimo?

ZFS ha meccanismi di controllo automatico che prevengono e correggono gli errori (es. ogni file ha il suo checksum che viene controllato costantemente), effettuano la de-duplicazione e la compressione dei dati in maniera trasparente, permette di fare snapshot e cloni sul file system "live", più un'altra marea di funzionalità. In pratica ti può rendere la vita molto più semplice, oltre al fatto che sei più certo che i dati siano effettivamente sicuri.

Originariamente inviato da MALEFX

ah quindi quelli di synology sono dei fessi che usano brtfs?

"There is currently (2019-07-07, linux ≤ 5.1.16) a bug that causes a two-disk raid1 profile to forever become read-only the second time it is mounted in a degraded state"
"Raid5 and raid6 profiles are not yet ready to use (up-to-date-for Feb 2020).
"Quotas and qgroups should not be used if one expects reasonable performance."
E così via. Fonte: wiki di Debian.
Non sono dei fessi, ma la scelta mi perplime parecchio da un punto di vista tecnico. Avranno fatto i loro conti e preso le loro contromisure per aggirare le problematiche (uno dei vantaggi nell'avere una piattaforma che si controlla completamente), ma non lo userei per macchine in produzione. Insomma, c'è un motivo per cui Red Hat non lo usa come file system di default...

[wobbly]

Perchè lo sviluppo di BRTFS è in mano a Oracle, la principale concorrente?

Meglio un RAID 1, bello semplice, con un filesystem stra-collaudato come EXT3 o EXT4. Al massimo puoi usare ZFS con compressione se vuoi rischiare un po'.

Un NAS non è un server per far girare virtual machine, un server per far girare virtual machine è un server. Stop.

[joe4th]

Originariamente inviato da Slater91

Senza ironia: non capisco se sono io in difetto nello spiegare le cose o se c'e' un problema di comprensione da parte dei lettori. E' chiaramente scritto che e' necessaria solo in fase di installazione del sistema", il che implica che poi possa essere rimossa. Come avrei potuto rendere la cosa piu' chiara di cosi?

Non e' una critica, ma esattamente come hai appena fatto. Cioe' aggiungere tra parentesi "(poi puo' essere eventualmente rimossa)".

Di solito, pero' usarla solo in fase di installazione, significa che la lasci li e non ci pensi piu'. Non mi sembra una periferica sottintesa come prettamente rimovibile come una USB. Bisogna anche considerare che se poi la rimuovi ti trovi una macchina senza uscita video, e poi se ci devi fare manutenzione perche' magari l'interfaccia via web o di rete non risponde? Che fai, metti e togli? Magari il failure era solo la CMOS scarica. Ah, la scheda video, dove l'avevo messa... :-) Oltretutto, certe motherboard nemmeno partono senza una scheda video.

Alle volte bisogna anche valutare le situazioni e i compromessi. Per esempio se ti serve l'hotswap non puoi utilizzare il controller SATA onboard che magari non lo supporta. Oppure puoi prendere anche due controller, di cui uno di riserva. Inoltre dipende anche dal livello di RAID raggiungibile (magari 1+0 e' sufficiente).

Da quello che so io il problema di un controller RAID e' che le informazioni sono si' sui dischi, ma sono gestite dal controller e infatti il problema principale in caso di guasto del controller e' trovarne uno identico per non dover buttare via tutti i dati. Nel caso di un soft RAID sono d'accordo con te se usi quello della scheda madre (orrore!), ma altrimenti dipende anche dal file system: ZFS, ad esempio, scrive tutte le informazioni sul RAID sui dischi e puoi tranquillamente ricostruire il RAID su un'altra macchina semplicemente spostando i dischi.

Di solito sono divise per famiglie di chipset di controller. Magari non uno uguale ma con uno della stessa marca, ce la si cava. Alle volte se poi il RAID non e' molto complicato, e' possibile leggere le informazioni del RAID di un controller dedicato, anche con altri controller, in raw. Di solito basta skippare la parte iniziale dei blocchi (o la parte finale), individuare il blocco dal quale partire con kpartx, e montare con losetup (se sei su Linux). Ma qui andiamo gia' su hacking di un certo livello e si tratta comunque di soluzioni estreme, certo non fra quelle pianificabili.

L'idea e' di dare una visione d'insieme di cosa si puo' usare. Tra le varie opzioni che sto approfondendo: Nextcloud (come software in generale, indipendentemente dalla piattaforma sottostante), OpenMediaVault, TrueNAS Core (ex FreeNAS), XigmaNAS, unRAID. Includero'anche VMware ESXi e Proxmox come opzioni per gestire il dispositivo come fosse un microserver su cui poi innestare i vari servizi.

ZFS ha meccanismi di controllo automatico che prevengono e correggono gli errori (es. ogni file ha il suo checksum che viene controllato costantemente), effettuano la de-duplicazione e la compressione dei dati in maniera trasparente, permette di fare snapshot e cloni sul file system "live", piu' un'altra marea di funzionalita'. In pratica ti puo' rendere la vita molto piu' semplice, oltre al fatto che sei pu' certo che i dati siano effettivamente sicuri.

ZFS, magari su BSD based. Su Linux, nonostante OpenZFS2 e il buon supporto offtree per il kernel, upstream e' ancora considerato il brutto anatroccolo, per via della licenza "non conforme". Alcune distro, prima l'avevano integrato nel loro kernel, poi l'hanno buttato fuori facendo solo i relativi moduli in dkms e le util separate, altre l'hanno tolto proprio e lo lasciano magari tra i contributi non ufficiali. Poi chiaramente chi vuole si aggiunge i pezzi che gli servono, partendo dal supporto offerto.

Attendiamo i tuoi approfondimenti :-)

[Axel.vv]

Originariamente inviato da Slater91

Includerò anche VMware ESXi e Proxmox come opzioni per gestire il dispositivo come fosse un microserver su cui poi innestare i vari servizi.

Curiosissimo di leggere di Proxmox, che non ho mai usato, ma mi incuriosisce molto.

Secoli fa mi ero trovato molto bene con XEN in paravirtualizzazione.

[Slater91]

Originariamente inviato da joe4th

Non e' una critica, ma esattamente come hai appena fatto. Cioe' aggiungere tra parentesi "(poi puo' essere eventualmente rimossa)".

Ma no, ci mancherebbe. L'ho chiesto senza ironia perché a volte è difficile uscire dalla propria testa e un concetto che appare lampante può non esserlo per altri. Per questo è importante il confronto. Grazie del riscontro.

Originariamente inviato da joe4th

Di solito, pero' usarla solo in fase di installazione, significa che la lasci li e non ci pensi piu'. Non mi sembra una periferica sottintesa come prettamente rimovibile come una USB. Bisogna anche considerare che se poi la rimuovi ti trovi una macchina senza uscita video, e poi se ci devi fare manutenzione perche' magari l'interfaccia via web o di rete non risponde? Che fai, metti e togli? Magari il failure era solo la CMOS scarica. Ah, la scheda video, dove l'avevo messa... :-) Oltretutto, certe motherboard nemmeno partono senza una scheda video.

In effetti questo è un aspetto di cui tenere conto. La cosa migliore è impiegare un processore con scheda grafica integrata.

Originariamente inviato da joe4th

Alle volte bisogna anche valutare le situazioni e i compromessi. Per esempio se ti serve l'hotswap non puoi utilizzare il controller SATA onboard che magari non lo supporta. Oppure puoi prendere anche due controller, di cui uno di riserva. Inoltre dipende anche dal livello di RAID raggiungibile (magari 1+0 e' sufficiente).

Certo, infatti questo articolo non vuole essere una guida esaustiva, ma più uno spunto per capire da dove iniziare e cosa valutare. Inevitabilmente poi le valutazioni specifiche vanno fatte sulle situazioni reali e per questo non è possibile fare una guida "definitiva". Ricordo di aver letto negli anni guide di siti americani in cui consigliavano case da 500$ come "imprescindibili per un NAS" perché avevano gli alloggiamenti hot swap: può essere un requisito fondamentale in alcuni specifici casi, ma da lì a definirlo "imprescindibile" in tutti i casi ce ne passa...

Originariamente inviato da joe4th

Di solito sono divise per famiglie di chipset di controller. Magari non uno uguale ma con uno della stessa marca, ce la si cava. Alle volte se poi il RAID non e' molto complicato, e' possibile leggere le informazioni del RAID di un controller dedicato, anche con altri controller, in raw. Di solito basta skippare la parte iniziale dei blocchi (o la parte finale), individuare il blocco dal quale partire con kpartx, e montare con losetup (se sei su Linux). Ma qui andiamo gia' su hacking di un certo livello e si tratta comunque di soluzioni estreme, certo non fra quelle pianificabili.

Infatti, direi che si passa a un livello decisamente da "smanettoni"

Originariamente inviato da joe4th

ZFS, magari su BSD based. Su Linux, nonostante OpenZFS2 e il buon supporto offtree per il kernel, upstream e' ancora considerato il brutto anatroccolo, per via della licenza "non conforme". Alcune distro, prima l'avevano integrato nel loro kernel, poi l'hanno buttato fuori facendo solo i relativi moduli in dkms e le util separate, altre l'hanno tolto proprio e lo lasciano magari tra i contributi non ufficiali. Poi chiaramente chi vuole si aggiunge i pezzi che gli servono, partendo dal supporto offerto.

Attendiamo i tuoi approfondimenti :-)

Sì, ZFS è purtroppo spesso oggetto di contenziosi nel mondo Linux, ma io preferisco l'approccio pragmatico e continuo a usarlo senza farmi troppi problemi. Alla fine quello che conta è il risultato, per come la vedo io, intestardirsi troppo sulle questioni di principio (che sono sacrosante, per carità) diventa controproducente alla lunga. Poi chiaramente ciascuno è libero di fare quel che vuole, ci mancherebbe!

[giuliop]

Originariamente inviato da wobbly

Meglio un RAID 1, bello semplice, con un filesystem stra-collaudato come EXT3 o EXT4. Al massimo puoi usare ZFS con compressione se vuoi rischiare un po'.

Credo che peggio del RAID 1 (non ZFS) non ci sia: il doppio dello spazio, ti "protegge" solo dalla rottura del disco, e se non c'è un guasto ovvio non c'è nemmeno modo di sapere quale siano i dati buoni; direi assolutamente sconsigliabile.
ZFS è "enterprise-grade": ext4 va benissimo, ma le caratteristiche di ZFS rendono quest'ultimo decisamente superiore per uno storage sul server.

Originariamente inviato da wobbly

Un NAS non è un server per far girare virtual machine, un server per far girare virtual machine è un server. Stop.

Il fatto è che la distinzione fra NAS e server sostanzialmente non esiste più: anche i software di Synology e QNAP prevedono funzionalità di virtualizzazione.

[gvairo59]

Ho installato sul mio HP Microserver Gen7 con 10 GB di RAM Openmediavault 5 (dopo aver utilizzato prima la 3 e poi la 4) e non ho mai avuto problemi.
Utilizzo di file server, Plex e Container per Home Lab.
Ho anche installato XFCE per poterlo utilizzare in maniera più comoda.
Se proprio devo trovare un difetto è la mancanza di un tool nativo per la migrazione fra le varie release senza dover reinstallare.

[giuliop]

Originariamente inviato da gvairo59

Ho installato sul mio HP Microserver Gen7 con 10 GB di RAM Openmediavault 5 (dopo aver utilizzato prima la 3 e poi la 4) e non ho mai avuto problemi.
Utilizzo di file server, Plex e Container per Home Lab.
Ho anche installato XFCE per poterlo utilizzare in maniera più comoda.
Se proprio devo trovare un difetto è la mancanza di un tool nativo per la migrazione fra le varie release senza dover reinstallare.

Non so quali siano le prestazioni del processore, ma con quel quantitativo di RAM è possibilissimo che tu possa risolvere virtualizzandolo: puoi provare a mettere un hypervisor come VMWare ESXi o Proxmox (o anche andare di virtualizzazione diretta con QEMU/KVM), e installare OMV in una VM, facendo il passthrough dei dischi dati.
Quando c'è una nuova versione, la installi in una nuova VM, la configuri e quando tutto va bene spegni quella vecchia. Io ho fatto esattamente così: facile, veloce, indolore e totalmente da remoto.

[\_Davide_/]

Originariamente inviato da icoborg

però andando sull'usato un 8bay lo trovi sui 500, ma in caso di guasti..non so se si trovano i pezzi...che poi equivale al cambio del nas in pratica.

Occhio che se poi non li aggiornano son soldi buttati

Originariamente inviato da FastZyx

Asrock Fatal1ty Z170 Gaming-ITX/ac con 6 porte SATA (l'unica mini-itx di classe consumer con 6 porte sata che riuscii a trovare), abbinata a un Core i5-6500, 16 GB di RAM G.Skill Ripjaws V 3000MHz, dissipatore Noctua NH-D9L, alimentatore Seasonic G450 80 Plus Gold e 3 HDD WD Red da 4 TB in RAID5 (più un piccolo SSD per il SO, allora Freenas, oggi TrueNas).
Lo uso come disco di rete, server Plex e Subsonic, client torrent, gestore dell'ups e backup del pc principale. Devo dire che ne sono soddisfatto.

Come consumi come sei messo?

Originariamente inviato da giuliop

Il fatto è che la distinzione fra NAS e server sostanzialmente non esiste più: anche i software di Synology e QNAP prevedono funzionalità di virtualizzazione.

E funzionano anche decisamente bene (quelli di Synology; su Qnap stendo un velo)

[William Somerset]

Originariamente inviato da gvairo59

Ho installato sul mio HP Microserver Gen7 con 10 GB di RAM Openmediavault 5 (dopo aver utilizzato prima la 3 e poi la 4) e non ho mai avuto problemi.
Utilizzo di file server, Plex e Container per Home Lab.
Ho anche installato XFCE per poterlo utilizzare in maniera più comoda.
Se proprio devo trovare un difetto è la mancanza di un tool nativo per la migrazione fra le varie release senza dover reinstallare.

Originariamente inviato da giuliop

Non so quali siano le prestazioni del processore, ma con quel quantitativo di RAM è possibilissimo che tu possa risolvere virtualizzandolo: puoi provare a mettere un hypervisor come VMWare ESXi o Proxmox (o anche andare di virtualizzazione diretta con QEMU/KVM), e installare OMV in una VM, facendo il passthrough dei dischi dati.
Quando c'è una nuova versione, la installi in una nuova VM, la configuri e quando tutto va bene spegni quella vecchia. Io ho fatto esattamente così: facile, veloce, indolore e totalmente da remoto.

Stesso hardware che ho io, che anch'io uso con OMV5.

Il GEN7 supporta ESXi 6.5 U3, con iso ufficiale scaricabile da sito HPE.

La iso per esattezza è questa:
VMware-ESXi-6.5.0-Update3-14990892-HPE-preGen9-650.U3.9.6.10.1-Dec2019.iso

Si installa e via, tutto viene riconosciuto in automatico.

Qualcuno ci ha fatto girare anche VMware 7, ma qualcosa non veniva riconosciuto (la lan mi pare, ma non ricordo esattamente).

Io lo avevo installato all'inizio e funzionava tutto molto bene, poi dato che alla fine avevo solo la macchina virtuale di OMV, ho preferito rimuoverlo e installare OMV "bare metal".

Non escludo comunque di tornare indietro: era comodissima la possibilità di fare snapshot, reinstallare OMV o provare altri OS senza doverlo collegare a monitor, tastiera e mouse, così come la possibilità di fare backup anche della stesso VM di OMV (usavo GhettoVCB).

L'unica cosa che non ricordo era se OMV virtualizzato era in grado di leggere lo stato S.M.A.R.T. dei dischi (con i dischi in direct attached)

[alexfri]

Secondo me non avete considerato il vero motivo per il quale farlo, la capacitá. Natale scorso ne ho assemblati 2, il primo con scheda madre di recupero e con due controllerini sata, ben 12 dischi dentro con freenas. Comperalo un nas con 12 slot, oppure anche solo 6! Ci lasci un rene e le prestazioni... non saprei. Gli ho montato 24giga che avevo li e un cpu k e qualcosa quadcore. una trentina di tera di spazio a prezzo mooolto piu basso rispetto a prendere un nas prefatto. Oltretutto ora sto pensando di installarci una scheda 10 Gbit per spremere qualche altra decina di mega di transfer, prova a farlo su nas prefatti che ne sono sprovvisti. Altro gioiellino é L’HP Microserver Gen7 che ha posto per 5 dischi, altri 30 tera di nas fatto a natale scorso. Lo prendi con meno di 100€ e comunque ha hardware di classe superiore e una ventola che raffredda tutto. Anche sul gen7 sto pensando di mettere un 10Gbit, fallo su un nas da meno di 100€. Oltretutto freenas se si rompe qualcosa (eccetto i dischi) lo ricomponi su un’altra macchina e in un attimo hai di nuovo i tuoi dati online.

Ora peró un consiglio: da 7/8 anni sto usando freenas ma mi piacrrebbe provare altro. Consigli?? Freenas é stabilissimo, prenderei in considerazione sistemi altrettanto stabili ma piú user frendly.