scelta filesystem

[dierre]

Che filesystem conviene usare per un fileserver?
I file si possono raggruppare in questo modo per ordine di grandezza:

80% 300mb a 400mb
15% 600mb a 800mb
5% > 1GB

Mediamente il server verrà "svuotato" ogni 4/5 mesi, però vengono caricati 3/4 files al giorno per un intervallo di tempo pari a 6 giorni per settimana.

[darkbasic]

xfs o ext3
Non ricordo bene quali dei due si comporti meglio con file di grosse dimensioni, ma in ogni caso siamo lì.
Sicuramente sono entrambi estremamente affidabili.
Nel general purpose xfs è leggermente più veloce, ma in un fileserver fa ben poca differenza.
Tieni presente che usando ext3 un 5% dello spazio libero verrà sacrificato a suo uso e consumo.

[dierre]

ok grazie, avevo letto un articolo ed infatti anche lì si parlava di XFS. Ed il 5% di spazio dedicato per l'fs è troppo

[VICIUS]

Il 5% rappresenta lo spazio riservato a root per continuare a gestire il sistema anche in caso di riempimento del disco rigido principale. Se non hai file di sistema su quel discopuoi tranquillamente impostarlo a 0 usando tune2fs

ciao

[iron84]

Xfs per file di quelle dimensioni

[NZ]

Originariamente inviato da iron84

Xfs per file di quelle dimensioni

xfs è velocissimo ma come siamo messi a stabilità e "robustezza"?
provai xfs una sola volta un anno fa e, dopo un reset della macchina, il filesystem era completamente disintegrato
con ext3 o reiserfs mai successo...

mi piacerebbe tornare a xfs ma vorrei sapere se han fatto progressi per ovviare al problema di cui sopra.

PS: è possibile vedere un filesystem xfs da windows? con ext3 si può ma con xfs non so...

[arara]

Questo driver può leggere Ext, XFS e Reiser da windows http://www.crossmeta.com/crossmeta.html.

XFS non ha nessun problema di stabilità in se, solamente il fatto di tenere parecchio i dati in cache prima di scriverli lo rende più sensibile di altri agli arresti improvvisi del sistema.

XFS ha giustamente la fama di essere un file system ad alte prestazioni, ma molte delle sue potenzialità vanno abilitate e configurate a mano, come l'I/O real time, perche possa essere sfruttato al massimo e si senta la differenza. Se uno non sa fare il tuning tanto vale che usi l'Ext3.

[darkbasic]

Dai test che ho fatto finora l'unico filesystem che si è rivelato essere decisamente più veloce degli altri è stato reiser4, gli altri più o meno siamo lì...
Purtroppo però in un fileserver è altamente sconsigliato.

[NZ]

Originariamente inviato da arara

XFS ha giustamente la fama di essere un file system ad alte prestazioni, ma molte delle sue potenzialità vanno abilitate e configurate a mano, come l'I/O real time

hai un link a della documentazione per settare questo XFS?

grazie

[arara]

No, io dicevo una cosa un po diversa: quello che intendevo per esempio è che XFS fornisce delle API che permettono ai programmi scritti in modo apposito di riservarsi una quantità di banda garantita e di accedere direttamente al disco senza passare per la cache, una caratteristica unica di XFS e fondamentale per le applicazioni di editing video real time, oppure altri aspetti all'avanguardia, ma che danno il meglio su sistemi di fascia alta con software scritti apposta per usarli.
Che XFS è ad alte prestazioni va inteso in quel senso, per il general purpose dove queste cose non si usano tanto vale affidarsi al classico Ext3.

Se ti interessa comunque puoi guardare sul sito della SGI, ad esempio datasheet di XFS: http://oss.sgi.com/projects/xfs/datasheet.pdf

[mcardini]

Xfs e' adatto a trattare file di grosse dimensioni e se usi prevalentemente quelli, xfs e' consigliato.
Io di solito imposto tutto su ext3 e non mi hai tradito una volta, ma su file di grosse dimensioni e' un po' in difficolta'.

[dierre]

Originariamente inviato da arara

Questo driver può leggere Ext, XFS e Reiser da windows http://www.crossmeta.com/crossmeta.html.

XFS non ha nessun problema di stabilità in se, solamente il fatto di tenere parecchio i dati in cache prima di scriverli lo rende più sensibile di altri agli arresti improvvisi del sistema.

XFS ha giustamente la fama di essere un file system ad alte prestazioni, ma molte delle sue potenzialità vanno abilitate e configurate a mano, come l'I/O real time, perche possa essere sfruttato al massimo e si senta la differenza. Se uno non sa fare il tuning tanto vale che usi l'Ext3.

Hai qualche guida buona per il tuning di XFS?

[arara]

non ho guide o howto, come ho detto nel post #10, quello che rende XFS allettante sono alcune caratteristiche avanzate che per essere sfruttate richiedono che anche il resto dell'ambiente sia progettato apposta, per tuning non intendevo dire che bisogna leggere un howto e modificare un file di configurazione per aumentare le prestazioni!

Mi riferivo a questo per esempio:
"Il server SGI Altix 3000, che frantumò il record del benchmark per l'High Performance Computing dei supercomputer nel 2003, utilizzava kernel Linux, processori Intel Itanium e XFS come file system."

Per l'uso generico, salvo casi particolari, le prestazioni sono comunque limitate dall'hardware sottostante per cui la scelta del filesystem per quanto riguarda le prestazioni conta in percentuale esigua.
Comunque è vero, per i file di grandi dimensioni XFS sulla carta (e anche in pratica) è il migliore, se hai un server stabile puoi usare quello.

[dierre]

Originariamente inviato da arara

non ho guide o howto, come ho detto nel post #10, quello che rende XFS allettante sono alcune caratteristiche avanzate che per essere sfruttate richiedono che anche il resto dell'ambiente sia progettato apposta, per tuning non intendevo dire che bisogna leggere un howto e modificare un file di configurazione per aumentare le prestazioni!

Mi riferivo a questo per esempio:
"Il server SGI Altix 3000, che frantumò il record del benchmark per l'High Performance Computing dei supercomputer nel 2003, utilizzava kernel Linux, processori Intel Itanium e XFS come file system."

Per l'uso generico, salvo casi particolari, le prestazioni sono comunque limitate dall'hardware sottostante per cui la scelta del filesystem per quanto riguarda le prestazioni conta in percentuale esigua.
Comunque è vero, per i file di grandi dimensioni XFS sulla carta (e anche in pratica) è il migliore, se hai un server stabile puoi usare quello.

Capito, grazie.

[NZ]

Originariamente inviato da arara

XFS non ha nessun problema di stabilità in se, solamente il fatto di tenere parecchio i dati in cache prima di scriverli lo rende più sensibile di altri agli arresti improvvisi del sistema.

raramente mi capita di dover resettare il PC
se lo faccio con EXT3 o REISER al boot successivo tutto OK, l'unica volta che ho resettato un XFS il filesystem si è disintegrato

tempo fa ho letto che è possibile limitare questo fenomeno aggiungendo dei parametri nel file /etc/fstab ma non riesco a trovare cosa aggiungere...

[arara]

Originariamente inviato da NZ

raramente mi capita di dover resettare il PC
se lo faccio con EXT3 o REISER al boot successivo tutto OK, l'unica volta che ho resettato un XFS il filesystem si è disintegrato

tempo fa ho letto che è possibile limitare questo fenomeno aggiungendo dei parametri nel file /etc/fstab ma non riesco a trovare cosa aggiungere...

In effetti quello è uno degli svantaggi, per cui va usato su macchine affidabili e in caso di freeze prima di resettare c'è una combinazione di tasti da premere (magic sysrq key) che fa il flush dei dati.

Il parametro a cui ti riferisci probabilmente sono le write barrier, che però in questo caso non servono perchè XFS usa la delayed allocation indipendentemente da esse.
Per rendere sicuro in quel senso XFS bisogna attivare le write barrier e disattivare l'uso della cache di XFS, pero così si perde una delle caratteristiche migliori di questo fs.

[NZ]

Originariamente inviato da arara

Il parametro a cui ti riferisci probabilmente sono le write barrier, che però in questo caso non servono perchè XFS usa la delayed allocation indipendentemente da esse.
Per rendere sicuro in quel senso XFS bisogna attivare le write barrier e disattivare l'uso della cache di XFS, pero così si perde una delle caratteristiche migliori di questo fs.

esatto, intendevo proprio le write barrier
che cosa fa esattamente questa opzione e come si abilita?

riassumendo:
che filesystem conviene usare?
per quanto riguarda robustezza ed affidabilità EXT3 è la scelta migliore?

[arara]

tratto dalle parole di uno sviluppatore SGI:

"XFS is only safe when you have:

a) no write caching on the drive (barrier or nobarrier)
b) non-volatile write caching on the drive (barrier or nobarrier)
c) volatile write caching and barriers supported and enabled

The same conditions hold true for any filesystem that requires I/O ordering
guarantees to maintain filesystem consistency."

Se hai una buona macchina con un OS stabile e non ci sono problemi di alimentazione allora XFS è a prova di bomba, altrimenti se vuoi stare più sicuro puoi usare Ext3.

Comunque io ho resettato più volte il mio PC con partizioni xfs e non ho perso nessun dato... la quantità di dati che vengono persi dipende dal momento in resetti, a volte può anche non succedere niente.

[iron84]

Originariamente inviato da arara

In effetti quello è uno degli svantaggi, per cui va usato su macchine affidabili e in caso di freeze prima di resettare c'è una combinazione di tasti da premere (magic sysrq key) che fa il flush dei dati.

Il parametro a cui ti riferisci probabilmente sono le write barrier, che però in questo caso non servono perchè XFS usa la delayed allocation indipendentemente da esse.
Per rendere sicuro in quel senso XFS bisogna attivare le write barrier e disattivare l'uso della cache di XFS, pero così si perde una delle caratteristiche migliori di questo fs.

per magic sysrq key intendi la combinazione di tasti :
alt+Rsist+R
alt+Rsist+E
alt+Rsist+I
alt+Rsist+S
alt+Rsist+U
alt+Rsist+B
?

Perchè a volte capita di avere freeze del server x, ma il kernel a basso livello non si è mai bloccato e con questa combinazione di tasti son sempre riuscito a riavviare la macchina.

[homer87]

JFS ??