Server piccola azienda - Urgente

[Karraway1]

Salve,
sono un dipendente di una piccola agenzia di comunicazione di Verona.
Vi spiego, semplicemente, il mio quesito.

Di cosa abbiamo bisogno
Abbiamo bisogno di un server, per contenere in un'unico luogo tutti i lavori, e di un sistema di backup dei lavori stessi, per averli in doppia copia.

L'azienda
Siamo in quattro dipendenti, utilizziamo degli iMac. Abbiamo quindi la necessità di lavorare ai vari file direttamente sul server senza copiarli sui vari computer.

A cosa avevo pensato
Pensavo di realizzare due configurazioni, uguali, una da utilizzare come server, al quale accedere con tutte le postazioni, e una da utilizzare come backup del server stesso.
Le due postazioni saranno posizionate in due luoghi diversi: il server in ufficio e il computer per il backup del server in casa del titolare. (saranno collegati alla stessa rete locale).
Perchè ho optato per questo scelta e non per hard disk in raid: se salta completamente 1 computer, abbiamo la copia su un'altra postazione; in caso di furto, abbiamo sempre una copia in un'altra postazione.
Optando invece per una solo postazione in raid, se la rubano, la rubano, e se saltano gli hard disk A1 e A2 ho perso entrambe le copie dei dati.

Configurazione
Qui ho bisogno del vostro aiuto. Verrà installato Debian.
Per quanto riguarda gli hard disk pensavo di optare per dei WD RED da 3Tb.
Per il resto dei componenti? Grazie!

[nanotek]

Oltre alla condivisione di file non avete altre necessità.. avete bisogno di un buon NAS, anzi due. Così puoi comprarli proprio gemelli, se te ne rubano uno lo rimpiazzi con l'altro.

Dimensione dei file che create/modificate ?
Dimensioni dei file da tenere in memoria ?
La rete è in gigabit o 100 Mbit ?

Come mai tassativamente debian ?

[AMD_Edo]

Originariamente inviato da Karraway1

Salve,
sono un dipendente di una piccola agenzia di comunicazione di Verona.
Vi spiego, semplicemente, il mio quesito.

Di cosa abbiamo bisogno
Abbiamo bisogno di un server, per contenere in un'unico luogo tutti i lavori, e di un sistema di backup dei lavori stessi, per averli in doppia copia.

L'azienda
Siamo in quattro dipendenti, utilizziamo degli iMac. Abbiamo quindi la necessità di lavorare ai vari file direttamente sul server senza copiarli sui vari computer.

A cosa avevo pensato
Pensavo di realizzare due configurazioni, uguali, una da utilizzare come server, al quale accedere con tutte le postazioni, e una da utilizzare come backup del server stesso.
Le due postazioni saranno posizionate in due luoghi diversi: il server in ufficio e il computer per il backup del server in casa del titolare. (saranno collegati alla stessa rete locale).
Perchè ho optato per questo scelta e non per hard disk in raid: se salta completamente 1 computer, abbiamo la copia su un'altra postazione; in caso di furto, abbiamo sempre una copia in un'altra postazione.
Optando invece per una solo postazione in raid, se la rubano, la rubano, e se saltano gli hard disk A1 e A2 ho perso entrambe le copie dei dati.

Configurazione
Qui ho bisogno del vostro aiuto. Verrà installato Debian.
Per quanto riguarda gli hard disk pensavo di optare per dei WD RED da 3Tb.
Per il resto dei componenti? Grazie!

Suggerisco di comprare dei microserver HP N54L perchè economici ed efficienti. Già con i 2 GB di memoria base potrebbero svolgere i compiti da voi assegnati egregiamente!

Semplicemente uno sará installato in ufficio e ogni notte fará una copia dei dati tramite rsync nel secondo posizionato a casa del titolare. Piccola spesa tanta resa.

[Karraway1]

Originariamente inviato da nanotek

Oltre alla condivisione di file non avete altre necessità.. avete bisogno di un buon NAS, anzi due. Così puoi comprarli proprio gemelli, se te ne rubano uno lo rimpiazzi con l'altro.

Dimensione dei file che create/modificate ?
Dimensioni dei file da tenere in memoria ?
La rete è in gigabit o 100 Mbit ?

Come mai tassativamente debian ?

1. preferirei assemblare qualcosa, così da avere più liberta anche in futuro
2. Da pochi mega a 100/200mb (per i cataloghi con molte pagine)
3. Dobbiamo spostare sui 5/5.5 TB, più qualche tera per i lavori futuri
4. Devo informamarmi, dipende dalla linea fornita dal fornitore oppure da eventuali componenti come switch ect.?
5. Mi era stato consigliato

[jerry74]

Originariamente inviato da Karraway1

Di cosa abbiamo bisogno
Abbiamo bisogno di un server, per contenere in un'unico luogo tutti i lavori, e di un sistema di backup dei lavori stessi, per averli in doppia copia.

L'azienda
Siamo in quattro dipendenti, utilizziamo degli iMac. Abbiamo quindi la necessità di lavorare ai vari file direttamente sul server senza copiarli sui vari computer.

Visto che quello di cui necessitate è solo un repository di file, non vi serve una "grande potenza" e ti consiglio di concentrarti su storage e infrastruttura di rete veloci. Un nas per i backup e un server con hd riservati al s.o. in raid 1 e hd per i dati in raid 10. Dischi enterprise da almeno 10000 giri se non ti orienti su ssd.
Infrastruttura di rete gigabit con switch adeguato alle necessità.

Originariamente inviato da Karraway1

A cosa avevo pensato
Perchè ho optato per questo scelta e non per hard disk in raid: se salta completamente 1 computer, abbiamo la copia su un'altra postazione; in caso di furto, abbiamo sempre una copia in un'altra postazione.
Optando invece per una solo postazione in raid, se la rubano, la rubano, e se saltano gli hard disk A1 e A2 ho perso entrambe le copie dei dati.

Raid e backup non sono la stessa cosa, l'utilizzo dell'uno non rende superfluo l'altro anzi, in ambito aziendale le due tecnologie vengono impiegate insieme per maggiore sicurezza e disponibilità dei dati.

[nanotek]

Originariamente inviato da Karraway1

1. preferirei assemblare qualcosa, così da avere più liberta anche in futuro
2. Da pochi mega a 100/200mb (per i cataloghi con molte pagine)
3. Dobbiamo spostare sui 5/5.5 TB, più qualche tera per i lavori futuri
4. Devo informamarmi, dipende dalla linea fornita dal fornitore oppure da eventuali componenti come switch ect.?
5. Mi era stato consigliato

Per la produzione non si assembla, si comprano dai produttori con tanto di garanzia per l'assistenza.

Edo, io ho un Hp N54L con un centos minimale, cartelle condivise con samba, funziona bene.. uptime da mesi ormai e nessun problema.. sinceramente però per i file di grandi dimensioni non è il massimo.. (velocità di punta su gigabit 50 MByte/s con un'utente solo connesso) è molto più reattivo un buon nas tipo qnap 269. Senza contare che per servire 6 postazioni ha occupato quasi tutti i 4 Gb di ram.. forse la usa per la cache di samba ?
Ps. Gli N54L sono saliti molto di prezzo perchè hp non li produce più e stanno diventando rari. Ne cercavo un altro per casa ma ora costano troppo.. Questa estate ne ho presi due a 170 Euro per il lavoro.. ora si trovano a 300

[AMD_Edo]

Originariamente inviato da nanotek

Per la produzione non si assembla, si comprano dai produttori con tanto di garanzia per l'assistenza.

Edo, io ho un Hp N54L con un centos minimale, cartelle condivise con samba, funziona bene.. uptime da mesi ormai e nessun problema.. sinceramente però per i file di grandi dimensioni non è il massimo.. (velocità di punta su gigabit 50 MByte/s con un'utente solo connesso) è molto più reattivo un buon nas tipo qnap 269. Senza contare che per servire 6 postazioni ha occupato quasi tutti i 4 Gb di ram.. forse la usa per la cache di samba ?
Ps. Gli N54L sono saliti molto di prezzo perchè hp non li produce più e stanno diventando rari. Ne cercavo un altro per casa ma ora costano troppo.. Questa estate ne ho presi due a 170 Euro per il lavoro.. ora si trovano a 300

Senza offesa ma penso tu abbia configurato molto male il tuo server: con un N40L (quindi la versione con processore piú lento) con debian Wheezy, 4 dischi in raid10 e 2 Gbyte di RAM arrivo tranquillamente a saturare la rete gigabit. Connessioni sia nfs che samba contemporaneamente. Questo al lavoro.

A casa ho un N54L con 5 dischi interni + box esata esterno da 5 dischi e saturo sempre la gigabit...

[nanotek]

Non ho specificato, io parlo di una situazione con due dischi WD red da 2TB in raid 1. Sia nel server sia nel nas. Il nas provato (qnap 269) mi risulta molto più performante raggiungo quasi i 90 MByte/s.

Probabile che ci siano ottimizzazioni da fare sul server ma non saprei quali.. sono neofita nel mondo linux. Ho installato samba, configurato le cartelle e gli utenti. Non ho fatto altro.

[Karraway1]

Originariamente inviato da jerry74

Visto che quello di cui necessitate è solo un repository di file, non vi serve una "grande potenza" e ti consiglio di concentrarti su storage e infrastruttura di rete veloci. Un nas per i backup e un server con hd riservati al s.o. in raid 1 e hd per i dati in raid 10. Dischi enterprise da almeno 10000 giri se non ti orienti su ssd.
Infrastruttura di rete gigabit con switch adeguato alle necessità.

Quindi mi state consigliando di acquistare un server, al quale poi aggiungere, manualmente, eventuali hard disk per i dati. Ho capito bene? Questo per avere un'assistenza immediata in caso di problemi con componenti al di fuori degli hard disk acquistati per i dati.
Inoltre un nas per i backup.

Riesci a farmi qualche esempio di modelli specifici? Grazie.

[Tasslehoff]

Originariamente inviato da nanotek

Edo, io ho un Hp N54L con un centos minimale, cartelle condivise con samba, funziona bene.. uptime da mesi ormai e nessun problema.. sinceramente però per i file di grandi dimensioni non è il massimo.. (velocità di punta su gigabit 50 MByte/s con un'utente solo connesso) è molto più reattivo un buon nas tipo qnap 269. Senza contare che per servire 6 postazioni ha occupato quasi tutti i 4 Gb di ram.. forse la usa per la cache di samba ?

Ma nel conteggio della ram hai conteggiato anche caching di I/O e buffering?
Perchè se la gran parte della ram se ne va per quello è perfettamente normale (trattandosi di una macchina che fa principalmente attività I/O intensive, quindi storage e rete), ma quella ram va considerata come memoria disponibile per processi in kernel o user space.

Tornando invece alla casistica di Karraway1.
Imho pensare di usare una seconda macchina per garantire una continuità di servizio non ha senso a meno di scenari a criticità elevata (leggasi produzione con servizi critici sottoposti a sla, penali, costi elevati in caso di fermi macchina etc etc...), e a prescindere da ciò una cosa del genere presuppone un aumento notevole dei costi e/o della complessità architetturale.
In caso contrario per aggiornare i dati tra la prima e la seconda macchina servità schedulare qualche processo che faccia tutto ciò, e per quanto possano essere frequenti, queste presuppongono sempre e cmq un "buco" tra una schedulazione e la successiva.
Per evitare sincronizzazioni schedulate potreste adottare storage di rete (nas o san), ma in questo caso aumentereste i costi notevolmente, e anche in questo caso per non avere un single point of failure dovreste puntare a modelli con almeno 2 controller, non certo gli scatolini qnap o synology da quattro soldi (e con questo includo anche i modelli di punta).
L'alternativa low cost (e anche più elegante) è adottare filesystem distribuiti (es gluster), il che aumeterebbe in modo sensibile il carico sulla rete e soprattutto la complessità software dell'architettura.

Poi tieni presente che un sistema del genere cmq non è un backup, se un utente fa una cazzata e cancella mezzo repository la cancellazione si propaga al secondo server (al cron dello script di sync o pressochè istantaneamente con filesystem distribuito), idem per una eventuale infezione da cryptolocker o ransomware vari.

Io quello che consiglio è:

1. evitare come la peste server assemblati, piuttosto prendetevi il modello Dell o IBM o HP (occhio che con HP quando scade il contratto di supporto non potete più scaricare nemmeno un update di firware) entry level, costa quanto un assemblato e ha almeno 1 o 2 anni di supporto.
2. 9 volte su 10 i guasti avvengono sullo storage (spesso sono gli unici guasti che si verificano nell'intero arco di vita di un server), quindi valutate bene se conviene comprare lo storage a parte oppure acquistarlo insieme al server in modo che sia sostituito in garanzia/supporto.
3. configura i due server con array raid che dia continuità di servizio in caso di guasto (es raid1, raid10, raid0+1, anche raid con parità anche se io eviterei), e fai backup sul secondo.
   Mi raccomando, backup, non sincronizzazioni dei file o filesyste distribuiti (a meno di non vole bilanciare il carico), non c'è bisogno di installarsi Tivoli Access Manager o qualche altro software titanico, basta e avanza anche un banalissimo duplicity.
   Poi se questi backup li vuoi sincronizzare anche su un'altra macchina remota tanto meglio, puoi sempre usare lo stesso sw di backup oppure un semplice rsynch.

Imho ovviamente.

[Karraway1]

Originariamente inviato da Tasslehoff

Io quello che consiglio è:

1. evitare come la peste server assemblati, piuttosto prendetevi il modello Dell o IBM o HP (occhio che con HP quando scade il contratto di supporto non potete più scaricare nemmeno un update di firware) entry level, costa quanto un assemblato e ha almeno 1 o 2 anni di supporto.
2. 9 volte su 10 i guasti avvengono sullo storage (spesso sono gli unici guasti che si verificano nell'intero arco di vita di un server), quindi valutate bene se conviene comprare lo storage a parte oppure acquistarlo insieme al server in modo che sia sostituito in garanzia/supporto.
3. configura i due server con array raid che dia continuità di servizio in caso di guasto (es raid1, raid10, raid0+1, anche raid con parità anche se io eviterei), e fai backup sul secondo.
   Mi raccomando, backup, non sincronizzazioni dei file o filesyste distribuiti (a meno di non vole bilanciare il carico), non c'è bisogno di installarsi Tivoli Access Manager o qualche altro software titanico, basta e avanza anche un banalissimo duplicity.
   Poi se questi backup li vuoi sincronizzare anche su un'altra macchina remota tanto meglio, puoi sempre usare lo stesso sw di backup oppure un semplice rsynch.

Ricapitolando:
- acquisto di due server DELL/IBM entry level. Configurare entrambi i server in raid1, raid 10 o raid 0+1 (qual'è la scelta migliore?) Eseguire un backup sul secondo server.
Domanda: abbiamo bisogno di uno spazio effettivo disponibile di 12tb, per rimanere tranquilli con l'archiviazione per almeno altri 5/6 anni. Quale prodotto consigli? Riesci a dirmi esattamente il modello con l'eventuale quantità di Hard Disk da inserire nella configurazione al momento dell'acquisto?
Grazie

[Kaya]

Visto che hai solo esigenze di file server, io prenderei qualcosa tipo il qnap TS-1270U-RP che con 12 dischi puoi arrivare a tanti bei terabyte di spazio.
Non ritengo che un server possa esserti utile in quanto non hai altre esigenze da come ho capito.

Il mio consiglio è però di farti seguire da qualcuno (azienda) che sappia fare il proprio mestiere!

[nanotek]

Originariamente inviato da Karraway1

abbiamo bisogno di uno spazio effettivo disponibile di 12tb

12 TByte non sono proprio uno scherzo.. con un server entry level non ci arrivi a fare il raid.
Con i dischi 3 Tb te ne servono 4 + altri 4 se vuoi fare un raid 1.. i server entry level non hanno abbastanza porte sata.. devi aggiungere una scheda sata pci.

Non accantonare l'idea di acquistare un buon nas visto che è quello che ti serve. Hanno anche un lato positivo.. una necessità di essere gestiti praticamente pari a zero.

[nanotek]

Originariamente inviato da nanotek

12 TByte non sono proprio uno scherzo.. con un server entry level non ci arrivi a fare il raid.
Con i dischi 3 Tb te ne servono 4 + altri 4 se vuoi fare un raid 1.. i server entry level non hanno abbastanza porte sata.. devi aggiungere una scheda sata pci.

Non accantonare l'idea di acquistare un buon nas visto che è quello che ti serve. Hanno anche un lato positivo.. una necessità di essere gestiti praticamente pari a zero.

Per Thassleoff:

Ma nel conteggio della ram hai conteggiato anche caching di I/O e buffering?
Perchè se la gran parte della ram se ne va per quello è perfettamente normale (trattandosi di una macchina che fa principalmente attività I/O intensive, quindi storage e rete), ma quella ram va considerata come memoria disponibile per processi in kernel o user space.

E' il dato che leggo digitando sul terminale: # free -m
Leggo memoria occupata circa 3800Mb e memoria libera circa 200 Mb.

Samba usa tutta la ram possibile per fare caching ?

[jerry74]

Originariamente inviato da Karraway1

Domanda: abbiamo bisogno di uno spazio effettivo disponibile di 12tb, per rimanere tranquilli con l'archiviazione per almeno altri 5/6 anni. Quale prodotto consigli? Riesci a dirmi esattamente il modello con l'eventuale quantità di Hard Disk da inserire nella configurazione al momento dell'acquisto?
Grazie

Io direi un Dell T320 con backplane per 16 HD da 2,5. Ne metti un paio in raid 1 per il sistema operativo ed il resto in raid 1+0 o 0+1 (vai qui per capire quale può esserti più utile).
Ho visto che seagate fa dischi 2,5 da 1,8 TB 10K.

[Dane]

Originariamente inviato da nanotek

12 TByte non sono proprio uno scherzo.. con un server entry level non ci arrivi a fare il raid.

12Tb non sono pochi. Se poi si vuole dimensionare anche per i prossimi anni la questione tende al critico. (parliamo di 20T almeno, imho)

L'unica speranza che può avere per risolvere il problema abbastanza bene è splittare i dati.
Da una parte quelli archiviati, da mettere in sola lettura, e dall'altra quelli di "work in progress".

Riduce di un po' i requisiti hardware del server di produzione.
Riduce drammaticamente tempi e complessità dei backup.
Riduce drammaticamente la probabilità di cancellare documenti vecchi, di cui si accorgerebbe dopo mesi.

[Tasslehoff]

Originariamente inviato da nanotek

Per Thassleoff:


E' il dato che leggo digitando sul terminale: # free -m
Leggo memoria occupata circa 3800Mb e memoria libera circa 200 Mb.

Samba usa tutta la ram possibile per fare caching ?

Devi verificare la ram occupata togliendo quella indicata come buferrs e cached, in sostanza la riga che inizia per "-/+ buffers/cache".
Quella è la ram utilizzata da processi utente/kernel e la ram disponibile per i processi utente/kernel.

Se una macchina è usata come file server è normale che abbia parecchia ram utilizzata per cache dei dati provenienti dal sottosistema di storage e di rete.

Originariamente inviato da Karraway1

Ricapitolando:
- acquisto di due server DELL/IBM entry level. Configurare entrambi i server in raid1, raid 10 o raid 0+1 (qual'è la scelta migliore?) Eseguire un backup sul secondo server.
Domanda: abbiamo bisogno di uno spazio effettivo disponibile di 12tb, per rimanere tranquilli con l'archiviazione per almeno altri 5/6 anni. Quale prodotto consigli? Riesci a dirmi esattamente il modello con l'eventuale quantità di Hard Disk da inserire nella configurazione al momento dell'acquisto?
Grazie

Ho riletto il thread più attentamente di quanto non avessi fatto, e francamente non posso che concordare con quanto già espresso da altri.
Quello che scrivi fa pensare che tu non abbia molto chiaro cosa significa portarsi in casa un server o come gestirlo, ne tantomeno formulare una configurazione che possa soddisfare le vostre esigenze (tieni presente che un forum poi è un luogo dove chiedere consigli di massima o spunti di approfondimento, non certo quotazioni dettagliate)

Non fraintendermi, non è mia intenzione sminuire il tuo entusiasmo o offendere nessuno, è solo una constatazione basata su quanto hai scritto.
Un server è uno strumento che richiede competenza e manutenzione costante, non basta installare, configurare e usarlo, tantomeno se l'esigenza richiede una architettura che possa garantire continuità di servizio o alta affidabilità e dove si debba gestire tutto quello storage.
Il rischio è di ritrovarvi con TB e TB di roba persa da un giorno con l'altro a causa di una gestione non attenta della macchina (e con questo mi riferisco ad aspetti sia fisici che logici).

Quindi mi accodo a quanto consigliato da altri, se non avete risorse IT in casa che possano occuparsene vi conviene optare per una soluzione che richiede il minimo sforzo come un nas, facendovi fare una quotazione da una società di consulenza nella vostra zona, con un adeguato supporto (e non mi riferisco alla semplice garanzia, ma qualcuno che esca e vi dia supporto onsite o remoto ogni qualvolta si dovesse verificare un problema).
Volete l'alta affidabilità? Benissimo, potete averla anche con un nas.
Volete backup su nastri LTO? Idem.
Ovviamente in questi casi dovete escludere a priori soluzione nas software tipo Qnap o Synology e passare ad altri produttori ben più blasonati (IBM, NetApp, EMC, Dell, HP), ovviamente budget permettendo.

[nanotek]

Secondo me se la possono cavare con buoni qnap e synology. 12 TB e più sono gestibili da buoni nas di queste marche.
Gli altri produttori da te citati sono da ambiente "media azienda" in su dove il budget IT è ben più alto di quello possibile per una ditta con 6-7 grafici..

Ps. ecco il risultato del comando #free -m sul mio server:

             total       used       free     shared    buffers     cached
Mem:          3833       3687        146          0        890       2144
-/+ buffers/cache:        651       3181
Swap:         3839         43       3796

Dunque devo togliere al totale della memoria occupata quella che sta nella colonna free della riga -/+ buffers/cache ?

[Tasslehoff]

Originariamente inviato da nanotek

Ps. ecco il risultato del comando #free -m sul mio server:

             total       used       free     shared    buffers     cached
Mem:          3833       3687        146          0        890       2144
-/+ buffers/cache:        651       3181
Swap:         3839         43       3796

Dunque devo togliere al totale della memoria occupata quella che sta nella colonna free della riga -/+ buffers/cache ?

No, devi semplicemente considerare solo la riga identificata dalla stringa "-/+ buffers/cache" da cui si evince che tutto il sistema operativo più i servizi che stai usando stanno saturando la bellezza di 651MB di ram, anche troppa se ci gira solo samba (a che runlevel sei? 5? Desktop grafico?).
Fai un veloce conto 651(ram usata dai processi) + 890 (buffers) + 2144 (cache) equivale esattamente alla ram indicata come "used" nella prima riga.
Inoltre se stessi veramente per esaurire la ram il kernel farebbe un uso dello swap molto più consistente, mentre come vedi ne usa solo 43MB per un po' di normale swappiness.

Personalmente poi non darei a una macchina tutto quello swap, non serve a nulla nella stragrande maggioranza dei casi, ovvero in tutti quelli in cui la partizione o il file di swap non stanno su un disco o un array dedicato.
Se il sistema operativo dovesse veramente usarire la ram e cominciasse a swappare pesantemente (thrashing) il server si pianterebbe al punto da non riuscire nemmeno ad accedere in ssh o a loggarsi in locale per killare processi o cmq porre rimedio alla causa di quella condizione.

[nanotek]

Runlevel 3. Niente server grafico, è centos base.
Su quel server (di cui ho preso l'output di #free) ci gira samba, mysql, apache, php e ftp + i soliti servizi di linux.. cron etc.
Sull'altro gemello solo samba + normali servizi di linux.

Lo swap l'ho tenuto a quanto consigliato di defalut in fase di installazione. Per ora mai nessun problema, anche perchè adesso ho capito che gran parte della ram è libera.

Ti ringrazio della risposta, però il post non è mio.. quindi.. ritorniamo al quesito principale del post..

Consigliamo un buon nas a Karraway1 ! (che avrà capito che un server va gestito e non è semplice)