Costruire un NAS fai da te: come scegliere l'hardware

[DjLode]

Originariamente inviato da giuliop

In realtà non credo ci sia scampo se chi spedisce dichiara l’importo “giusto” (cosa che dalla Cina spesso non fanno, ma evidentemente Hardkernel sì) e usa un corriere come DHL, che gestisce direttamente il pagamento degli oneri.

Capitato anche a me con altro valore, più basso, ma comunque oltre il valore che su cui non fanno controlli. Ho pagato la stessa cifra dell’oggetto presente su Amazon ed ho aspettato il triplo del tempo...

[demon77]

Originariamente inviato da giuliop

cut.

Una cosa che mi è venuta in mente mentre guardavo alcuni video su ESXI, non ricordo se tu usi quello.. però hai detto che hai fatto un server con sopra una piattaforma per VM e poi dentro una VM hai installato il sisitema NAS.. il quale però poi accede ad altri dischi fisici (non virtualizzati) che fanno da storage per i dati gestiti dal nas.

Ma da quello che ho visto questi dischi devono però comunque essere inseriti come unità di storage sulla piataforma esxi.. altrimenti la VM con su il so del NAS non potebbe vederli e collegarsi.. giusto?
Questo non comporta nulla per il setup di questi dischi?
Cioè, se fossero 4 hdd in raid 5 e li staccassi dal server per metterli in un'altra macchina su cui poi vado a rimettere direttamente il sistema NAS (non una VM) poi leggerei di nuovo la catena raid 5 e avrei accesso al volume?

[giuliop]

Originariamente inviato da demon77

Una cosa che mi è venuta in mente mentre guardavo alcuni video su ESXI, non ricordo se tu usi quello.. però hai detto che hai fatto un server con sopra una piattaforma per VM e poi dentro una VM hai installato il sisitema NAS.. il quale però poi accede ad altri dischi fisici (non virtualizzati) che fanno da storage per i dati gestiti dal nas.

Ma da quello che ho visto questi dischi devono però comunque essere inseriti come unità di storage sulla piataforma esxi.. altrimenti la VM con su il so del NAS non potebbe vederli e collegarsi.. giusto?

Premesso che non uso ESXi (l'avevo provato ma da qualche benchmark sembrava un po' lento, anche se non ho fatto prove esaustive), e non ricordo come si configurassero i dischi.
Per avere la massima velocità/trasparenza dovresti passarli direttamente alla macchina virtuale. Ovviamente l'hypervisor è "conscio" del fatto che esistano, ma poi l'interfacciamento con la VM è "diretto", nel senso che la VM vede i dischi come fossero fisicamente attaccati al computer virtuale.
Con la soluzione che ho adottato io (Arch Linux con KVM e QEMU, anche se fra poco sostiturò Arch con Alpine) si configurano direttamente nella macchina virtuale con un driver che si chiama "VirtIO", passandogli l'UUID del disco; poi li formatti direttamente dalla VM, e sono dischi che puoi portare su qualsiasi altro Linux, virtuale o no.

Originariamente inviato da demon77

Questo non comporta nulla per il setup di questi dischi?
Cioè, se fossero 4 hdd in raid 5 e li staccassi dal server per metterli in un'altra macchina su cui poi vado a rimettere direttamente il sistema NAS (non una VM) poi leggerei di nuovo la catena raid 5 e avrei accesso al volume?

Dipende da com'è implementato il RAID sul server da cui li stacchi. Se è quello "standard" di Linux (mdadm) non vedo perché no (fra l'altro, ricordo che una fra QNAP e Synology, o forse anche tutt'e due, configurano i dischi con mdadm, e se hai bisogno di leggerli da un'altra parte, devi montarli come drive RAID); se invece il RAID è ottenuto con un software proprietario allora dovresti installarlo sulla NAS, sempre ammesso che si possa; se invece è gestito dall'hardware forse non è impossibile ma la vedo ben più difficile.

[demon77]

Originariamente inviato da giuliop

Premesso che non uso ESXi (l'avevo provato ma da qualche benchmark sembrava un po' lento, anche se non ho fatto prove esaustive), e non ricordo come si configurassero i dischi.
Per avere la massima velocità/trasparenza dovresti passarli direttamente alla macchina virtuale. Ovviamente l'hypervisor è "conscio" del fatto che esistano, ma poi l'interfacciamento con la VM è "diretto", nel senso che la VM vede i dischi come fossero fisicamente attaccati al computer virtuale.
Con la soluzione che ho adottato io (Arch Linux con KVM e QEMU, anche se fra poco sostiturò Arch con Alpine) si configurano direttamente nella macchina virtuale con un driver che si chiama "VirtIO", passandogli l'UUID del disco; poi li formatti direttamente dalla VM, e sono dischi che puoi portare su qualsiasi altro Linux, virtuale o no.

Ok.. diciamo OK ma poi tra il dire e il fare c'è di mzzo il mare..

Se fosse EXSI, quando vado ad assegnare lo spazio di storage che poi verrà usato e visto dalle varie VM la procedura corretta dovrebbe essere che ai quattro dischi fisici vengano assegnati quattro dischi virtuali identici giusto?
Come quando crei una VM con vmware ed al momento della creazione del disco virtuale ti da la possibilità di scgliere di usare direttamente una partizione o un disco fisico..

Perchè, se ho capito giusto, procedendo in modo diverso.. in teoria io potrei anche avere ad esempio un server con tipo dieci dischi in cui creo già direttamente in EXSI una catena raid dove poi tutti sti dieci dischi diventano un unico spazio di storage disponibile all'interno di esxi che poi posso usare per creare tutte le VM che voglio con lo storage che voglio

[giuliop]

Originariamente inviato da demon77

Ok.. diciamo OK ma poi tra il dire e il fare c'è di mzzo il mare..

Se fosse EXSI, quando vado ad assegnare lo spazio di storage che poi verrà usato e visto dalle varie VM la procedura corretta dovrebbe essere che ai quattro dischi fisici vengano assegnati quattro dischi virtuali identici giusto?
Come quando crei una VM con vmware ed al momento della creazione del disco virtuale ti da la possibilità di scgliere di usare direttamente una partizione o un disco fisico..

Perchè, se ho capito giusto, procedendo in modo diverso.. in teoria io potrei anche avere ad esempio un server con tipo dieci dischi in cui creo già direttamente in EXSI una catena raid dove poi tutti sti dieci dischi diventano un unico spazio di storage disponibile all'interno di esxi che poi posso usare per creare tutte le VM che voglio con lo storage che voglio

Purtroppo risposte precise non te ne posso dare, non mi ricordo proprio quali fossero le possibilità di configurazione di ESXi.
Però in generale direi di sì, o passi i dischi alla (o alle) VM e se li gestiscono loro, "bypassando" l'hypervisor, oppure li fai gestire direttamente dall'hypervisor, che li presenta alla VM come dischi virtuali; nel primo caso hai maggiore velocità e ti svincoli dall'hypervisor, nel secondo hai maggiore flessibilità nella gestione dello spazio, perché puoi giocartelo come vuoi fra le VM, ma sacrifichi velocità e ti leghi a come l'hypervisor gestisce i dischi.

[biometallo]

sbagliato thread..

[William Somerset]

Originariamente inviato da demon77

Ok.. diciamo OK ma poi tra il dire e il fare c'è di mzzo il mare..

Se fosse EXSI, quando vado ad assegnare lo spazio di storage che poi verrà usato e visto dalle varie VM la procedura corretta dovrebbe essere che ai quattro dischi fisici vengano assegnati quattro dischi virtuali identici giusto?
Come quando crei una VM con vmware ed al momento della creazione del disco virtuale ti da la possibilità di scgliere di usare direttamente una partizione o un disco fisico..

Perchè, se ho capito giusto, procedendo in modo diverso.. in teoria io potrei anche avere ad esempio un server con tipo dieci dischi in cui creo già direttamente in EXSI una catena raid dove poi tutti sti dieci dischi diventano un unico spazio di storage disponibile all'interno di esxi che poi posso usare per creare tutte le VM che voglio con lo storage che voglio

Giusto per completezza, ESXi non permette la creazione dei cosiddetti fakeraid, per avere un RAID in ESXi o hai un controller RAID "vero" che si occupa del RAID (e che deve essere compatibile con ESXi in modo che lo possa vedere) o ti appoggi a SAN o cose del genere.

In alternativa, passando i vari dischi ad una vm (Physical compatibility RDMs), ovviamente puoi poi creare una fakeraid all'interno della VM.

In mancanza di una vera scheda RAID ESXi vedrà i tuoi dischi come datastore singoli, o in alternativa ti permetterà di creare un JBOD. Altro non ti permetterà di fare.

Eventualmente potresti valutare Proxmox, non ho esperienza diretta, ma essendoci sotto un normale Linux, credo che si possa mettere in piedi un fakeraid da passare a Proxmox

[William Somerset]

Originariamente inviato da giuliop

Premesso che non uso ESXi (l'avevo provato ma da qualche benchmark sembrava un po' lento, anche se non ho fatto prove esaustive), e non ricordo come si configurassero i dischi.
Per avere la massima velocità/trasparenza dovresti passarli direttamente alla macchina virtuale. Ovviamente l'hypervisor è "conscio" del fatto che esistano, ma poi l'interfacciamento con la VM è "diretto", nel senso che la VM vede i dischi come fossero fisicamente attaccati al computer virtuale.
Con la soluzione che ho adottato io (Arch Linux con KVM e QEMU, anche se fra poco sostiturò Arch con Alpine) si configurano direttamente nella macchina virtuale con un driver che si chiama "VirtIO", passandogli l'UUID del disco; poi li formatti direttamente dalla VM, e sono dischi che puoi portare su qualsiasi altro Linux, virtuale o no.



Dipende da com'è implementato il RAID sul server da cui li stacchi. Se è quello "standard" di Linux (mdadm) non vedo perché no (fra l'altro, ricordo che una fra QNAP e Synology, o forse anche tutt'e due, configurano i dischi con mdadm, e se hai bisogno di leggerli da un'altra parte, devi montarli come drive RAID); se invece il RAID è ottenuto con un software proprietario allora dovresti installarlo sulla NAS, sempre ammesso che si possa; se invece è gestito dall'hardware forse non è impossibile ma la vedo ben più difficile.

Ciao, posso chiederti una info? Siccome sto "giocando" con KVM e QEMU su OMV, cosa usi per fare i backup delle VM?

Grazie mille

[giuliop]

Originariamente inviato da William Somerset

Ciao, posso chiederti una info? Siccome sto "giocando" con KVM e QEMU su OMV, cosa usi per fare i backup delle VM?

Grazie mille

Certo

Non so se ho capito bene, stai usando OMV come hypervisor?

Io ho una situazione inversa, ovvero OMV in una VM, e per fare il backup uso degli script che fanno lo snapshot della VM (con virsh) e poi il backup con Borg (non sono altro che semplici "Frankenstein" di script più o meno "standard", ma se ti interessa dimmelo e te li mando in PM).

L'hypervisor invece è su una partizione LVM, per cui posso fare anche qui uno snapshot (LVM, in questo caso) e il backup "live".

[William Somerset]

Originariamente inviato da giuliop

Certo

Non so se ho capito bene, stai usando OMV come hypervisor?

Io ho una situazione inversa, ovvero OMV in una VM, e per fare il backup uso degli script che fanno lo snapshot della VM (con virsh) e poi il backup con Borg (non sono altro che semplici "Frankenstein" di script più o meno "standard", ma se ti interessa dimmelo e te li mando in PM).

L'hypervisor invece è su una partizione LVM, per cui posso fare anche qui uno snapshot (LVM, in questo caso) e il backup "live".

Te ne sarei grato ! Esatto, al momento sto usando OMV come Hypervisor per il semplice motivo che le VM non sono il ruolo primario di questo serverino, che prima di tutto deve farmi da NAS. Essendo un hardware vetusto (è un Microserver GEN7, in pratica ha una cpu da netbook del 2011) ho preferito installare direttamente OMV, per poter avere anche quel 5-6% di prestazioni in più.

Per questo ho deciso, diciamo, di fare una configurazione che di solito è il contrario di quello che si fa solitamente.

Da OMV ho semplicemente installato Cockpit, poi ho creato un bridge per poter settare sulle vm una ethernet bridge (per fare in modo che esca su internet ma al contempo sia raggiungibile dall'host).

Ho tirato su una VM per NextcloudPI, prima lo usavo con Docker ma purtroppo aveva delle limitazioni (per esempio fail2ban non funzionava, in quanto nextcloud registrava ovviamente solo l'ip dell'host).

Grazie!

[gvairo59]

Originariamente inviato da William Somerset

Da OMV ho semplicemente installato Cockpit, poi ho creato un bridge per poter settare sulle vm una ethernet bridge (per fare in modo che esca su internet ma al contempo sia raggiungibile dall'host).

Ho tirato su una VM per NextcloudPI, prima lo usavo con Docker ma purtroppo aveva delle limitazioni (per esempio fail2ban non funzionava, in quanto nextcloud registrava ovviamente solo l'ip dell'host).

Grazie!

Sono curioso di sapere come hai fatto a startare le VM dentro OMV: io ho praticamente la stessa configurazione tua, un vecchio HP N54L G7 con OMV 5 e stavo pensando di installare Proxmox per poter avere un Home Server più flessibile.
Grazie

[William Somerset]

Originariamente inviato da gvairo59

Sono curioso di sapere come hai fatto a startare le VM dentro OMV: io ho praticamente la stessa configurazione tua, un vecchio HP N54L G7 con OMV 5 e stavo pensando di installare Proxmox per poter avere un Home Server più flessibile.
Grazie

Nulla di più semplice grazie a OMV

Innanzitutto devi scaricare il plugin di OMV extras, fare l'upload nella sezione plugins di OMV, e successivamente installarlo.

https://forum.openmediavault.org/ind...as-org-plugin/

Fatto questo ti ritroverai il menù OMV extras nella barra menù laterale:selezioni Cockpit -> Installa

Fatto questo apri l'interfaccia web (porta 9090) ti logghi con le credenziali di root, vai su Virtual Machines -> Reti e metti il flag su "Esegui all'avvio dell'host" e clicchi su "Attiva"

Finito , a questo punto puoi già creare le tue VM.

C'è un però: nella configurazione di default puoi creare VM con interfaccia di rete Direct attachment o Virtual network

Direct attachment la vm esce su internet, viene vista dai tuoi client, ma non dall'host OMV

Virtual network viene vista dall'host OMV ma non dai tuoi client;per fare in modo che la vm esca su internet, venga vista dai tuoi client e anche dall'host OMV, serve la configurazione bridge.

Per farla devi convertire la tua scheda di rete, in OMV, in bridge.

Vai su OMV e selezioni rete e cancelli la scheda di rete attiva (nel mio caso era enp2s0)
Non fare salva configurazione ovviamente, altrimenti non accedi più a OMV

Adesso crei una nuova interfaccia bridge, selezionando come interfaccia la precedente scheda rimossa (enp2s0 sempre nel mio caso) e rimetti i precedenti parametri di configurazione IP statici.

A questo punto salvi le modifiche.

Per OMV nulla sarà cambiato, mentre su Cockpit finalmente potrai creare VM con interfaccia ethernet Bridge

Comunque, io preferisco i docker, il nostro processore è veramente limitato (anche se tu hai la cpu "potenziata" ), ne ho diversi e con un consumi ram e cpu bassissimi

[gvairo59]

Originariamente inviato da William Somerset

Nulla di più semplice grazie a OMV

..................

A questo punto salvi le modifiche.

Per OMV nulla sarà cambiato, mentre su Cockpit finalmente potrai creare VM con interfaccia ethernet Bridge

Comunque, io preferisco i docker, il nostro processore è veramente limitato (anche se tu hai la cpu "potenziata" ), ne ho diversi e con un consumi ram e cpu bassissimi

Sei stato gentilissimo, grazie mille!

comincerò a giocarci senza dover disinstallare OMV che considerò un ottimo NAS (d'altra parte sotto c'è Debian)

[demon77]

Che voi sappiate è possibile installare il sistema del NAS (che sia OMV o freenas o altro su una PARTIZIONE di un disco o comunque sullo spazio vuoto rimasto in un disco dove già c'è una partizione?

Nei tutorial si vede sempre installare il sistema su una chiavetta o una SD che poi resta inserita nel server. Questo per non sprecare una unità disco solo per il sistema.

Sinceramente l'idea mi è sempre piaciuta poco.. preferirei metterci magari un SSD e su un piccolo spazio dedicato mettere OMV ed il resto usarlo come parte dello spazio utile..

[William Somerset]

Originariamente inviato da demon77

Che voi sappiate è possibile installare il sistema del NAS (che sia OMV o freenas o altro su una PARTIZIONE di un disco o comunque sullo spazio vuoto rimasto in un disco dove già c'è una partizione?

Nei tutorial si vede sempre installare il sistema su una chiavetta o una SD che poi resta inserita nel server. Questo per non sprecare una unità disco solo per il sistema.

Sinceramente l'idea mi è sempre piaciuta poco.. preferirei metterci magari un SSD e su un piccolo spazio dedicato mettere OMV ed il resto usarlo come parte dello spazio utile..

Con OMV si, hai 3 possibilità (sperimentate tutte, ho rifatto il Microserver non so quante volte prima di trovare la configurazione che mi piaceva di più )

- Installi una Debian minimale, in modo tale che durante l'installazione del sistema tu possa partizionare come meglio credi il disco (il setup di OMV, non te lo permette). A installazione terminata apt install openmediavault

- Installi OMV normalmente. A setup terminato fai il boot con una chiavetta di gparted e partizioni il disco come meglio credi.

- Installi OMV normalmente. OMV non permette di creare cartelle condivise nella root del sistema operativo, ma c'è un plugin per questo:openmediavault-sharerootfs

Io personalmente alla fine ho scelto l'opzione 3, e mi va benissimo così

[DjLode]

Originariamente inviato da demon77

Che voi sappiate è possibile installare il sistema del NAS (che sia OMV o freenas o altro su una PARTIZIONE di un disco o comunque sullo spazio vuoto rimasto in un disco dove già c'è una partizione?

Nei tutorial si vede sempre installare il sistema su una chiavetta o una SD che poi resta inserita nel server. Questo per non sprecare una unità disco solo per il sistema.

Sinceramente l'idea mi è sempre piaciuta poco.. preferirei metterci magari un SSD e su un piccolo spazio dedicato mettere OMV ed il resto usarlo come parte dello spazio utile..

Io su un Microserver avevo messo un SSD (il più piccolo ed economico trovato su Amazon, forse da 60Gb) su cui avevo installato OMV. Considera che di solito fanno boot da SD o chiavetta USB perchè una volta avviato il SO non è che il supporto lo si usa più tanto, e le prestazioni non sono molto importanti.

[demon77]

Originariamente inviato da William Somerset

Con OMV si, hai 3 possibilità (sperimentate tutte, ho rifatto il Microserver non so quante volte prima di trovare la configurazione che mi piaceva di più )

- Installi una Debian minimale, in modo tale che durante l'installazione del sistema tu possa partizionare come meglio credi il disco (il setup di OMV, non te lo permette). A installazione terminata apt install openmediavault

- Installi OMV normalmente. A setup terminato fai il boot con una chiavetta di gparted e partizioni il disco come meglio credi.

- Installi OMV normalmente. OMV non permette di creare cartelle condivise nella root del sistema operativo, ma c'è un plugin per questo:openmediavault-sharerootfs

Io personalmente alla fine ho scelto l'opzione 3, e mi va benissimo così

Grazie! Molto interessante!
Sono molto nabbo con linux e quindi non so bene se per me sarà semplice come lo hai descritto tu ma vale la pena tentare!

Originariamente inviato da DjLode

Io su un Microserver avevo messo un SSD (il più piccolo ed economico trovato su Amazon, forse da 60Gb) su cui avevo installato OMV. Considera che di solito fanno boot da SD o chiavetta USB perchè una volta avviato il SO non è che il supporto lo si usa più tanto, e le prestazioni non sono molto importanti.

Si si, lo so.. è più che altro una questione di affidabilità del supporto.
Un SSD o un HDD sono pensati per lavoro continuativo e migliaia di accessi e cicli di scrittura.. una pennetta USB decisamente no.
Ho l'ansia che dopo aver settato tutto con pazienza questo dopo un po' di mesi muore e resti col culo per terra senza ricordarti più una mazza di come rimettere tutto in pista.
Tipo quando carichi un savegame di Skyrim dopo un anno e mezzo che non ci giocavi.

[William Somerset]

Originariamente inviato da demon77

Grazie! Molto interessante!
Sono molto nabbo con linux e quindi non so bene se per me sarà semplice come lo hai descritto tu ma vale la pena tentare!

Figurati, è veramente semplicissimo, io che mi reputo un utente un minimo ferrato in ambito Linux (ridendo e scherzando lo utilizzo dal lontano 2002, prima installazione una Debian 3.0 Woody ) sono rimasto allibito di fronte alla semplicità di OMV, è davvero tutto a portata di clic! E se vuoi spingerti oltre puoi comunque farlo, sotto c'è una Debian.

Ad esempio, UPS: basta installare il plugin di NUT e configurare due parametri da interfaccia grafica, et voila! UPS, spegnimento pulito e notifiche via mail funzionanti! Senza praticamente fare nulla.

Si si, lo so.. è più che altro una questione di affidabilità del supporto.
Un SSD o un HDD sono pensati per lavoro continuativo e migliaia di accessi e cicli di scrittura.. una pennetta USB decisamente no.
Ho l'ansia che dopo aver settato tutto con pazienza questo dopo un po' di mesi muore e resti col culo per terra senza ricordarti più una mazza di come rimettere tutto in pista.
Tipo quando carichi un savegame di Skyrim dopo un anno e mezzo che non ci giocavi.

Pienamente d'accordo, per questo ho rimediato un SSD Samsung da 256GB su cui tengo OMV, Docker, eventuali VM e una piccola share di rete (per Syncthing).
I dati "veri" invece sono su due HD da 4TB.
Persino i manteniner di OMV, sul forum ufficiale, sconsigliano di utilizzare supporti USB, nonostante ci sia un plugin ufficiale (openmediavault-flashmemory plugin) che riduce al minimo le scritture/letture in modo tale da preservare la memoria flash usb.
Se poi consideriamo che OMV, a differenza ad esempio di Synology o FreeNAS, non ha un sistema di ridondanza su più dischi di se stesso è chiaro che conviene assolutamente, a mio parere, puntare su un supporto di qualità e che possa durare nel tempo

[rowiz]

Domanda: avrei trovato un AMD A6 5400K da utilizzare, come sta messo a consumi? Potrei utilizzarlo con un pico PSU e due HD da 3.5?

[demon77]

Originariamente inviato da William Somerset

cut

Preso un po' dalla scimmia di sperimentare ho rispolverato dalla soffitta un vecchio mini client con Atom D410.. roba del 2010 o giù di li..
Tempo fa ricordo di averci messo OMV con successo.

Adesso sto provando ad installarlo da chiavetta USB ad altra chiavetta usb.. ma quando arriva il momento del partizionamento automatico del supporto scatta l'errore e mi dice che non è possibile creare una partizione EXT4 sul supporto..

Provato a cambiare chiavetta.. idem.

Idee?