Backup di file di grosse dimensioni (per vmware...)

[poldo76]

Scusate, non sapevo cosa mettere come oggetto, cercherà di essere chiaro e sintetico

Scenario: ho due serveretti linux in rete locale (Ubuntu server), con schede di rete e switch Gigabit ethernet.

Problematica: devo backuppare giornalmente file di grosse dimensioni dal server 1 al server 2 (un unico file da 50Gb)

Quesito che vi pongo: qual'è la migliore tecnologia (soprattutto dal punto di vista delle performance) per passare i file da uno all'altro server?

Prove fatte: ho provato a montare le directory con fstab e nfs, samba, anche ftp... con scarsi risultati. Oltre ad avere scarsi risultati in termini di performance (servono giorni per trasferire 50Gb), i server sono praticamente inutilizzabili per tutto per periodo di trasferimento! Praticamente è come se danno 100% di priorità al disco e processore e di fatto non riesco nemmeno ad accedere via ssh.

C'è qualche altro sistema per backuppare o devo configurare meglio i vari nfs o samba?

Il tutto servirebbe per backuppare alcune macchine virtuali vmware da un server ad uno di backup. Operazione che farei durante la notte. Il fatto è che, viste le prestazioni, una notte non basta per fare la copia dei dati.

Mi illuminate?
ps. se qualcuno è interessato, sto cercando di elaborare uno script funzionante per backuppare macchine virtuali da un server all'altro ed ottenere un sorta di server secondario, che lancia le macchine virtuali nel caso in cui il server primario sia ko. Eventualmente si potrebbe unire gli sforzi e fare uno script comune....

[Gimli[2BV!2B]]

Potenzialmente una connettività a 1gigabit potrebbe garantire realisticamente una banda di circa 100Mb/sec, in realtà è tanto se si arriva a 20-25, tutto questo se si hanno dischi IDE o SATA connessi singolarmente.

Ora, se i tuoi server sono impegnati in qualcosa che tiene sempre i dischi in attività, se non sono in configurazioni RAID che ne aumentano la banda e se il filesystem è un pochetto frammentato vedrai subito una drastica diminuzione delle prestazioni, sia di trasferimento che di sistema.

Posso provare a segnalarti un paio di impostazioni, che qualche volta portano un 15-20% di miglioramento.

In questo primo tentativo si innalza un po' la memoria dedicata ai buffers di rete; prima controlla il tuo valore attuale (con il primo comando), poi prova ad alzarlo e verifica se cambia qualcosa (i valori che vedi sono superiori al valore di default in Debian, non so i tuoi...):

sysctl -n -e net.ipv4.tcp_mem
sysctl net.ipv4.tcp_mem="98304 131072 196608"

L'altra possibilità riguarda Samba, editando /etc/samba/smb.conf si può provare ad aggiungere la riga

socket options = IPTOS_LOWDELAY SO_SNDBUF=32786 SO_RCVBUF=32786

nella sezione [global]. Questa opzione agisce sempre sulla dimensione dei buffers usati da Samba durante i trasferimenti, e sui tempi (IPTOS_LOWDELAY). Una precisazione: ho usato queste impostazioni dei socket di samba con un 5-10% di miglioramento, ma le mie attuali RTL-8169SC non le digeriscono proprio, bloccando completamente il sistema.

[poldo76]

Ciao,
si, in effetti ho configurazioni con raid software e dischi ide

però, oltre alle prestazioni davvero scarse, quando provo a trasferire qualcosa di grosso, entrambi i server rimangono inaccessibile fino al completamento del processo.

E' normale? Mi chiedo: se sposto un file da 10gb tra due macchine windows questo problema non ce l'ho. Perché con linux si?

proverò comunque le configurazioni suggerite

[Gimli[2BV!2B]]

RAID software? Sembra che qualcun'altro abbia il tuo stesso problema...

Spulciando la valanga di commenti non mi è saltata all'occhio nessuna soluzione...

Purtroppo di RAID non so nulla, e credo che il problema sia lì, quindi aspettiamo un esperto in materia che possa smentire o risolvere.

[Devil!]

Originariamente inviato da poldo76

Ciao,
si, in effetti ho configurazioni con raid software e dischi ide

però, oltre alle prestazioni davvero scarse, quando provo a trasferire qualcosa di grosso, entrambi i server rimangono inaccessibile fino al completamento del processo.

E' normale? Mi chiedo: se sposto un file da 10gb tra due macchine windows questo problema non ce l'ho. Perché con linux si?

proverò comunque le configurazioni suggerite

A me capitava che samba occupasse la maggior parte della cpu durante i trasferimenti di file, limitando quindi le prestazioni LAN, perchè non avevo correttamente selezionato nel kernel i driver per la scheda madre