file-server Debian TaiChi

[pippo.c]

Un saluto a tutti, chiedo scusa se forse la scelta del forum è imprecisa. Dovendo realizzare un file-server basato su Debian (9.0) costituito da un raid6 (software) di 8 dischi 4/6Tb con il sistema operativo installato su un raid1 di 2 HDD 1Tb, il PSU è un EVGA G3 supernova 1000. Oltre a questo dovrebbe avere due gigabit da aggregare. La cpu dovrebbe essere tale da gestire il flusso sulle gigabit e non introdurre troppo ritardo per i calcoli sui raid.
Ho cercato vaie soluzioni ma erano tutte una sorta di "arlecchino" ... controller sata aggiuntivi schede di rete aggiunte ecc.
Ho pensato di usare la z270 TaiChi + i5-6600k con 8 o 16 Gb di ram.
In questo modo ho 10 sata 3 sulla scheda (alcuni sono condivisi con M.2 che non ho intenzione di usare)
2 schede gigabit simili integrate e che mi sembra di aver letto riconosciute perfettamente da linux.

Rimane solo un problema non riesco a capire se supporta lo hot-swap, i IB-564SSK - RaidSonic che contengono gli 8 dischi lo supportano, i dischi ad esempio wd serie red anche tutto si riduce ai controller sata della MB dove viene solo indicato hot-plug (in caso dovrebbe essere attivabile da bios ma non so come capire se c'è).

Non ho idea se è una scelta folle o sbagliata proprio, datemi i vostri suggerimenti.
Grazie Grazie..

[nanotek]

costituito da un raid6 (software) di 8 dischi 4/6Tb con il sistema operativo installato su un raid1 di 2 HDD 1Tb

Ti sconsiglio di farlo. Ho un nas con quella configurazione, spero che non vada mai fuori sincronia o che non si rompa mai un disco.
Il tempo di rebuild con dischi da 4 TB è lunghissimo (anche 2-3 giorni, dipende se c'è utilizzo o meno durante il rebuild), sperando che non ne muoiano altri nel frattempo. Figurati con dischi da 6 TB... Due anni fa mi sembrava una buona soluzione.. adesso c'è di meglio. Il raid non è nato ai tempi di dischi così capienti.
Per uno storage del genere ti consiglio ZFS su per esempio FreeBSD o se vuoi qualcosa con interfaccia es FreeNas (interfaccia con una miriade di opzioni.. bisogna studiarsela un po').

Purtroppo per Btrfs bisognerà aspettare ancora un paio di anni perchè sia production ready.

[lemming]

Non capisco a cosa serva un file server così grande.
La rebuild in un sistema con hardware dedicato non soft-raid è fattibile anche con dischi grandi.
Se vuoi andare sul sicuro evita RAID complicati ma fai un semplice RAID 1 per tutti i dischi, OS compreso. Tieni da parte un disco pronto da sostituire e il gioco è fatto.

[Dane]

considera 4ore/Tb di rebuild, se il fileserver fa bass(issim)o carico in termini di iops.

Considerato il raid6 (per giunta software) che hai scelto il carico non dovrebbe essere tanto diverso.


Quindi il discorso della doppia scheda di rete francamente non mi torna. Che senso ha?
Hai molti client da servire?

[pippo.c]

Originariamente inviato da nanotek

Ti sconsiglio di farlo. Ho un nas con quella configurazione, spero che non vada mai fuori sincronia o che non si rompa mai un disco.
Il tempo di rebuild con dischi da 4 TB è lunghissimo (anche 2-3 giorni, dipende se c'è utilizzo o meno durante il rebuild), sperando che non ne muoiano altri nel frattempo. Figurati con dischi da 6 TB... Due anni fa mi sembrava una buona soluzione.. adesso c'è di meglio. Il raid non è nato ai tempi di dischi così capienti.
Per uno storage del genere ti consiglio ZFS su per esempio FreeBSD o se vuoi qualcosa con interfaccia es FreeNas (interfaccia con una miriade di opzioni.. bisogna studiarsela un po').

Purtroppo per Btrfs bisognerà aspettare ancora un paio di anni perchè sia production ready.

a livello software resta la soluzione + sicura dopo il raid1 ti rimando a questo esempio dove con matematica semplice dimostra xkè raid6 si grazie!
calcoli x il raid6
si a ZFS è il filesystem che userò preferisco Debian a FreeBSD e assolutamente no a disto-NAS anche xkè deve restare un semplice archivio le altre funzionalità sono su altre macchine dato che questo ne complicherebbe la configurazione e lo rallenterebbe. hai detto "adesso c'è di meglio" tipo? soluzioni hardware vere nona fasulle costano troppo e in caso di rottura del controller devi rimettere il medesimo. Al contrario nel caso di raid software se si spacca la MB la cambi con una qualsiasi al peggio reinstalli Debian che guarda caso hai configurato in maniera semplice e tutto torna come prima.
Su un'altra macchina ho installato una distro-Nas ma non ho scelto FreeBSD troppo commerciale eventualmente avrei potuto mettere Nas4Free cmq essendo fedele a Debian va da se che ho messo OpenMediaVault.

[pippo.c]

Originariamente inviato da Dane

considera 4ore/Tb di rebuild, se il fileserver fa bass(issim)o carico in termini di iops.

Considerato il raid6 (per giunta software) che hai scelto il carico non dovrebbe essere tanto diverso.


Quindi il discorso della doppia scheda di rete francamente non mi torna. Che senso ha?
Hai molti client da servire?

Come ho detto sopra le vie hadrware non sono economicamente praticabili, la scelta del raid6 è pura matematica (il raid1 troppo costoso e richiederebbe dischi da 8Tb).
Le due schede di rete servono per sfruttare al massimo le gli HDD che sianbo 160/150 o 140 MB/s rallentati dal raid (e qui gioca la cpu) una singola scheda garantisce al massimo 120MB/s che non ho mai visto raggiungere aggregandone 2 avrei sicuri 200MB/s quindi nessun tappo ma al solito dato che per quellu che mi ricordo da sistemi-II dato che lo stack-tcp/ip è compito del s.o. ancora una volta la cpu e cruciale.
Morale una cpu adeguata velocizza le op raid e i flussi sulle schede di rete non diventando un tappo.
Una parte della nostra rete è collegata ad un Mikrotik CRS125 collegato aggregando 2 porte con un RB3011 e i benefici sono notevoli quindi vorrei ripetere la stessa cosa qui.
I client possono anche essere ad esempio anche solo due (improbabile) ma i files trasferiti sono da 100Gb o + e poter fornire ad ognuno 60/70MB/s invece di 40 è importante.

1)
Concludendo ripeto la TaiChi è una buona scelta come scheda server dotata di 10 sata e e lan o no? Ci sono alternative migliori?

2)
La cpu i5-6600k per voi è sufficiente per gestire velocemente le operazioni di raid 6 software e le due schede di rete, tenendo presente che il server non ha altre mansioni deve fare una cosa e una soltanto ma farla bene.

[r3dl4nce]

L'unica cosa che mi viene in mente è che l'I5 non supporta l'hyperthreading al contrario dell'I7, anche se credo che nella gestione degli hard disk non sia così fondamentale (i thread del txg_sync dello ZFS alla fine saranno più bloccati dall'attesa dei dischi che dalla disponibilità della CPU). Non saprei invece riguardo alla gestione della rete, di solito quando metto in bond le schede di rete lo faccio principalmente per active-backup.

Sulla gestione degli hard disk, anche io ho usato RAID 6 (o meglio RAIDZ-2 su ZFS) ma con dischi così grandi come segnali te io starei attento, un resilver in caso di un cambio di disco può richiedere settimane e stressare tantissimo tutti gli hard disk, con conseguente rischio di rottura di un secondo hard disk.
Se il RAID 1+0 non è possibile (e lo capisco), non puoi pensare di dividere il pool di dischi?
Inoltre se vai di ZFS valuta bene la RAM, un pool così grande secondo me necessita di avere una cache ARC molto grande, non starei sotto i 30-40GB di cache ARC, in alternativa un SSD per pool a fare da cache ARC L2

[nanotek]

si a ZFS è il filesystem che userò preferisco Debian a FreeBSD e assolutamente no a disto-NAS anche xkè deve restare un semplice archivio le altre funzionalità sono su altre macchine dato che questo ne complicherebbe la configurazione e lo rallenterebbe. hai detto "adesso c'è di meglio" tipo?

Credevo volessi usare il raid 6 di mdadm su linux. Non avevi detto che userai ZFS come filesystem.

Per soluzioni soluzioni migliori intendevo proprio ZFS, un raid ZFS. Il rebuild di un disco su ZFS è molto diverso da mdadm e di conseguenza anche i tempi.

ZFS su Debian (o su ubuntu) non sono progetti maturi come lo è ZFS su Solaris o BSD.

[pippo.c]

Originariamente inviato da r3dl4nce

L'unica cosa che mi viene in mente è che l'I5 non supporta l'hyperthreading al contrario dell'I7, anche se credo che nella gestione degli hard disk non sia così fondamentale (i thread del txg_sync dello ZFS alla fine saranno più bloccati dall'attesa dei dischi che dalla disponibilità della CPU). Non saprei invece riguardo alla gestione della rete, di solito quando metto in bond le schede di rete lo faccio principalmente per active-backup.

Sulla gestione degli hard disk, anche io ho usato RAID 6 (o meglio RAIDZ-2 su ZFS) ma con dischi così grandi come segnali te io starei attento, un resilver in caso di un cambio di disco può richiedere settimane e stressare tantissimo tutti gli hard disk, con conseguente rischio di rottura di un secondo hard disk.
Se il RAID 1+0 non è possibile (e lo capisco), non puoi pensare di dividere il pool di dischi?
Inoltre se vai di ZFS valuta bene la RAM, un pool così grande secondo me necessita di avere una cache ARC molto grande, non starei sotto i 30-40GB di cache ARC, in alternativa un SSD per pool a fare da cache ARC L2

Grazie, si vero per i7 ma il blocco saranno i dischi cmq se mi restano soldi andrò per i7.
Chiedo scusa se sono stato impreciso si in vero si tratta di un RAIZ2 ma non sono riuscito mai a capire come si effettua esattamente il calcolo per "resilvering time" sai come si fa o qualche link?
Dividere il pool è possibile ma per fare cosa tipo 2 raid5?
Hai centrato anche un altro problema stavo cercando invano di capire quanta ARC cache serva per XFS ma ho visto come impostarla, limitarla ma non capisco come calcolare la ram necessaria. Muovermi ad occhio non mi sembra una bella cosa. La scheda madre supporta 64Gb ma meglio essere precisi visto il costo.
Grazie dei consigli spero in altri

[r3dl4nce]

Per la cache ARC, difficile dirlo, io con 5-6 VM con un carico medio (file server, sql server, dominio, firewall e servizi di rete) non metto meno di 4GB di ARC insieme a un SSD per ARC L2, meglio sarebbe abbondare con la RAM, difficile valutare il tuo caso senza prove, anche le varie guide dicono poco di preciso e di valutare caso per caso, potrei dire 12-16 gb di cache ARC se hai molte letture magari di dati che possano rimanere in cache. In fin dei conti stiamo parlando di RAM normale, senza ECC, dato che come processore metti un I5/I7, è ram che costa poco, meglio abbondare.

Il calcolo del tempo di resilver è molto dipendente dal workload del server mentre effettua il resilver, quindi anche qui è impossibile secondo me avere un valore a priori, ma è lento, molto lento, con un disco guasto su un pool di 8 dischi, deve leggere 7 dischi, calcolare la parità e scrivere sul disco sostitutivo, immagina l'iowait in quel momento. Puoi anche fare una simulazione, butti su 4 dischi in raidz2 in un server di test, sostituisci un disco e fai il resilver e vedi quanto ci mette. Da lì con 8 dischi è un tempo doppio se il server fosse a carico 0, ma visto che fai il resilver con server in funzione, capisci da te quanto aumenta il tempo

In tutto ciò a me un ppol di 8 dischi da 4 TB fa un po' paura, proprio perché se qualcosa dovesse andare storto storto storto di brutto, perdi completamente il pool. Sarebbe backuppato ovviamente vero?

[pippo.c]

Originariamente inviato da r3dl4nce

Per la cache ARC, difficile dirlo, io con 5-6 VM con un carico medio (file server, sql server, dominio, firewall e servizi di rete) non metto meno di 4GB di ARC insieme a un SSD per ARC L2, meglio sarebbe abbondare con la RAM, difficile valutare il tuo caso senza prove, anche le varie guide dicono poco di preciso e di valutare caso per caso, potrei dire 12-16 gb di cache ARC se hai molte letture magari di dati che possano rimanere in cache. In fin dei conti stiamo parlando di RAM normale, senza ECC, dato che come processore metti un I5/I7, è ram che costa poco, meglio abbondare.

Il calcolo del tempo di resilver è molto dipendente dal workload del server mentre effettua il resilver, quindi anche qui è impossibile secondo me avere un valore a priori, ma è lento, molto lento, con un disco guasto su un pool di 8 dischi, deve leggere 7 dischi, calcolare la parità e scrivere sul disco sostitutivo, immagina l'iowait in quel momento. Puoi anche fare una simulazione, butti su 4 dischi in raidz2 in un server di test, sostituisci un disco e fai il resilver e vedi quanto ci mette. Da lì con 8 dischi è un tempo doppio se il server fosse a carico 0, ma visto che fai il resilver con server in funzione, capisci da te quanto aumenta il tempo

In tutto ciò a me un ppol di 8 dischi da 4 TB fa un po' paura, proprio perché se qualcosa dovesse andare storto storto storto di brutto, perdi completamente il pool. Sarebbe backuppato ovviamente vero?

proprio da poco ho letto che per ogni Tb servono da 1 a 5 Gb ma come dici tu si determina male a priori ache se dovrebbero esserci tool online per calcolarlo. Quindi si cmq i valori sono quelli dovrei avere 32Gb di ram. Anche io cmq mi sto un pochino impaurendo con questa storia degli 8 dischi, facendola semplice 2 raid5 classici di 4 dischi ognuno, 16Gb di ram basterebbero si potrebbe complicare la gestione di una saturazione omogenea ma è un problema nel tempo. Cosa ne pensi? Risparmiare soldi per la ram ampliare lo spazio del filesystem a 24Tb(2 x raid5) conto i 19Tb di ZFS in questo caso non è poco calcola che è previsto il backup di solo 8Tb su 24Tb ovvero tutto quello ritenuto rilevante.
Grazi ancora, aspetto la tua opinione su
2 x raid5 4+4 16GB ram
1 x RAIZ2 8 32GB ram

[Dane]

il bonding delel schede di rete non funziona come pensi tu.
Non puoi sommare la banda per singola connessione.

Guardati un po' come funziona e vedi se è quello che serve.
Molto spesso è una complicanza per niente.

Se ti serve più velocità vai di 10Gb. Là siamo su (ben) altri livelli, e hai un prodotto che puoi pensare di usare più in là.
Oggigiorno comprare server con gigabit è pura follia.



Se sei orientato su zfs usa ram ecc. Ci sono una valanga di buoni motivi per comprare un sistema di questo tipo.


A mettere le due cose insieme: guardati le schede supermicro con xeonD, 10gb integrato (fino a 4 porte), fino a 128gb di ram ecc, porte sata a volontà.

[pippo.c]

Originariamente inviato da Dane

il bonding delel schede di rete non funziona come pensi tu.
Non puoi sommare la banda per singola connessione.

Guardati un po' come funziona e vedi se è quello che serve.
Molto spesso è una complicanza per niente.

Se ti serve più velocità vai di 10Gb. Là siamo su (ben) altri livelli, e hai un prodotto che puoi pensare di usare più in là.
Oggigiorno comprare server con gigabit è pura follia.



Se sei orientato su zfs usa ram ecc. Ci sono una valanga di buoni motivi per comprare un sistema di questo tipo.


A mettere le due cose insieme: guardati le schede supermicro con xeonD, 10gb integrato (fino a 4 porte), fino a 128gb di ram ecc, porte sata a volontà.

magari mi sbaglio io e anche quello che c'è scritto qui è sbagliato non saprei. Comunque tutta la rete è ad 1Gb e la connessione tra i vari router e switch usa connessioni raddoppiate, ad esempio un mikrotik CRS125 ed un router RB3011. La rete va molto bene in questo modo, i vari nodi sono connessi se necessario in bonding e avevo pensato di adottare questa soluzione per questa macchina.

[pippo.c]

Originariamente inviato da Dane

il bonding delel schede di rete non funziona come

A mettere le due cose insieme: guardati le schede supermicro con xeonD, 10gb integrato (fino a 4 porte), fino a 128gb di ram ecc, porte sata a volontà.

Le ho guardate e ho sbavato ma devi capire il mio budget è inferiore a quello di un sedicenne per il suo pc-gaming. Devo fare come si suol dire li nozze con i funghi. Probabilmente accetterò il consiglio di dividere il raid dato che per almeno 6/7 mesi la metà con dischi da 6Tb andrà bene poi vedremo come usare il resto dello spazio nel 2018 in questo modo contengo la spesa e il sistema è meno rigido.
Grazie cmq di avermi fatto sognare con cose che non potrò mai avere

[r3dl4nce]

La cosa migliore per le prestazioni è il raid 1+0, altrimenti raid6 (raidz2) per l'affidabilità

[nanotek]

Se ti serve più velocità vai di 10Gb. Là siamo su (ben) altri livelli, e hai un prodotto che puoi pensare di usare più in là.
Oggigiorno comprare server con gigabit è pura follia.

I 10GBS sono troppo costosi perchè bisogna prendere anche switch/router adatti. Non quelli finti che poi internamente hanno canali a 1-2 GBS oppure che non sono poi in grado di fare switch a 10GBS.
Il router e lo switch che ha pippo non sono in grado di sfruttare i per cui l'opzione migliore è un link aggregation ( più tecnicamente bonding mod 4).
Io ho fatto la stessa cosa su un nas qnap che è predisposto per il link aggregation.

Pippo, non hai mai detto quali file server devi farci girare. Samba ha delle richieste, autodesk vault ne ha ben altre !

[pippo.c]

Originariamente inviato da nanotek

Il router e lo switch che ha pippo non sono in grado di sfruttare i per cui l'opzione migliore è un link aggregation ( più tecnicamente bonding mod 4).
Io ho fatto la stessa cosa su un nas qnap che è predisposto per il link aggregation.

Pippo, non hai mai detto quali file server devi farci girare. Samba ha delle richieste, autodesk vault ne ha ben altre !

Esattamente io pensavo di collegare il server in bonding 802.3ad e tu mi hai confermato che è l'opzione migliore.
In pratica si tratta di un piccolo studio di grafica, un piccolo laboratorio che realizza foto e filmati per eventi (anche matrimoni) ed un piccolo studio per siti web e programmi di gestione personalizzati per piccole attività (questa sarebbe la mia specifica parte dato che sono prevalentemente un programmatore). Alcuni lavori possono coinvolgere anche + di una delle 3 attività. Dato che il mio socio ha ereditato un grande appartamento abbiamo realizzato li le tre sedi condividendo quindi alcune risorse come la rete. Tutti sentiamo il bisogno di un archivio dove salvare i lavori passati che magari in futuro in parte potranno tornare utili. Quindi l'idea è quella di creare una cosa condivisa, tutti vogliono spendere poco ecco perché una soluzione amatoriale.
Scusa la lunga premessa, comunque si mi limito a Samba e forse Apache per eventuali programmi di gestione/monitoraggio del sistema (forse si ma non è detto). L'uso sarà principalmente quello di uno storage, una sorta di magazzino, dove tutti archiviano i lavori chiusi e forse anche dati commerciali. Verrà consultato e solo a volte interi blocchi verranno estratti.
Il backup sarà limitato solo alle parti marcate come vitali (dato che per il momento è limitato ad 8TB).
Quindi il punto era va bene:
TaiChi + i7 +16GB (32GB nel caso di RAIDZ-2)
è meglio fare un solo raid5 di 4 dischi e usare le altre risorse per aumentare le dim del backup. Poi tra un anno un secondo raid5 di 4 dischi ed adeguare il backup oppure lasciare un backup di 8TB e fare subito un RAIDZ-2 da 8 dischi?
Grazie della conferma del bonding mod 4.

[r3dl4nce]

Non fare raid5/raidz1, viene sconsigliato per la sicurezza. Se vuoi prestazioni, raid 1+0, se vuoi più sicurezza raidz2.

[Dane]

Originariamente inviato da nanotek

I 10GBS sono troppo costosi perchè bisogna prendere anche switch/router adatti. Non quelli finti che poi internamente hanno canali a 1-2 GBS oppure che non sono poi in grado di fare switch a 10GBS.
Il router e lo switch che ha pippo non sono in grado di sfruttare i per cui l'opzione migliore è un link aggregation ( più tecnicamente bonding mod 4).
Io ho fatto la stessa cosa su un nas qnap che è predisposto per il link aggregation.

se guardi il sovraprezzo di una scheda da 10gb è irrisorio rispetto al gigabit.
In particolare se ragioni su un orizzonte temporale di qualche anno, ritrovarsi con 2, 4 o 6 schede da 1gb semplicemente non ha senso.

Quanto al bonding..... qualsiasi cosa tu faccia non vai oltre il gigabit nella singola connessione, sperando che l'xor non ti faccia "condividere" il cavo con un altro host. Anche qui: se vuoi switch che si spingano oltre l'xor mac based il tutto comincia a costare....
Il bonding ha senso per due cose: fault tolerance o aumentare la capacità media totale in caso di tanti host. Se non devi coprire queste necessità aumenti la complessità soltanto. (Per inciso: qua stiamo parlando di una configurazione senza alimentatore ridondato, dove si vuole mettere zfs senza memoria ecc, e così avanti..... non penso proprio che si sta parlando di 20-30 host che richiedono un po' di capacità in più.)

Se poi cominci a fare bonding con schede di rete "scarse" o "problematiche", o semplicemente "non uguali" vuol dire cercarsele.


x pippo
se non puoi gli xeon D, quardati gli atom c2750 e soci. Per un fileserver dovrebbe essere più che sufficiente.
Poi sta per uscire la serie C3000..... o se puoi guardati gli xeonD più "scarsi"...

[nanotek]

se guardi il sovraprezzo di una scheda da 10gb è irrisorio rispetto al gigabit.

Potresti farmi degli esempi ?
Le schede di rete da 10GbE che trovo io costano parecchio di più.