File system e consumi

[Life bringer]

Iniziamo dall'inizio, quando 2 anni fa installai debian optai per / in xfs e boot in ext2.
Meno di un mese fa, sono passato da un vecchio hd da 320gb ad un nuovo e fiammante samsung da 500gb a piatto singolo, con la speranza di ridurre ulteriormente i consumi, nel travaso del so ho ben pensato di cambiare FS visto che ero un po' stufo di xfs e di dover, soprattutto ogni tanto dover avviare un livecd di ubuntu per eseguire xfs_check e successiva deframmentazione. Visto che si parla bene di ext4 mi sono detto, proviamolo...
E' stato abbastanza inaspettato constatare che cambiando hd i consumi aumentarono, invece che diminuire, stranissimo, così mi sono detto: se fosse il FS? Allora ho fatto la prova inversa, ho formattato la partizione da xfs ad ext4 sul vecchio hard disk.
HD: WDC_WD3200SD-01KNB0
XFS: 71W
EXT4: 94W

Come si spiega questo aumento di consumi quando l'unica modifica effettuata è stata quella del FS (oltre che l'hd?)

Questo è il nuovo FSTAB:

# /etc/fstab: static file system information.
#
# <file system> <mount point> <type> <options> <dump> <pass>
proc /proc proc defaults 0 0
/dev/sda3 / ext4 noatime 0 1
/dev/sda1 /boot ext2 noatime 0 2
/dev/sda2 none swap sw 0 0
/dev/hdc /media/cdrom0 udf,iso9660 user,noauto 0 0


Questo il vecchio:

# /etc/fstab: static file system information.
#
# <file system> <mount point> <type> <options> <dump> <pass>
proc /proc proc defaults 0 0
/dev/sda3 / xfs noatime,nodiratime,logbufs=8 0 1
/dev/sda1 /boot ext2 noatime 0 2
/dev/sda2 none swap sw 0 0
/dev/hda /media/cdrom0 udf,iso9660 user,noauto 0 0



Mi viene da pensare che la differenza possano essere i settaggi nella sezione <type> è possibile?

[Chiancheri]

Iniziamo dall'inizio, quando 2 anni fa installai debian optai per / in xfs e boot in ext2.
Meno di un mese fa, sono passato da un vecchio hd da 320gb ad un nuovo e fiammante samsung da 500gb a piatto singolo, con la speranza di ridurre ulteriormente i consumi, nel travaso del so ho ben pensato di cambiare FS visto che ero un po' stufo di xfs e di dover, soprattutto ogni tanto dover avviare un livecd di ubuntu per eseguire xfs_check e successiva deframmentazione. Visto che si parla bene di ext4 mi sono detto, proviamolo...
E' stato abbastanza inaspettato constatare che cambiando hd i consumi aumentarono, invece che diminuire, stranissimo, così mi sono detto: se fosse il FS? Allora ho fatto la prova inversa, ho formattato la partizione da xfs ad ext4 sul vecchio hard disk.
HD: WDC_WD3200SD-01KNB0
XFS: 71W
EXT4: 94W

Come si spiega questo aumento di consumi quando l'unica modifica effettuata è stata quella del FS (oltre che l'hd?)

Questo è il nuovo FSTAB:

# /etc/fstab: static file system information.
#
# <file system> <mount point> <type> <options> <dump> <pass>
proc /proc proc defaults 0 0
/dev/sda3 / ext4 noatime 0 1
/dev/sda1 /boot ext2 noatime 0 2
/dev/sda2 none swap sw 0 0
/dev/hdc /media/cdrom0 udf,iso9660 user,noauto 0 0


Questo il vecchio:

# /etc/fstab: static file system information.
#
# <file system> <mount point> <type> <options> <dump> <pass>
proc /proc proc defaults 0 0
/dev/sda3 / xfs noatime,nodiratime,logbufs=8 0 1
/dev/sda1 /boot ext2 noatime 0 2
/dev/sda2 none swap sw 0 0
/dev/hda /media/cdrom0 udf,iso9660 user,noauto 0 0



Mi viene da pensare che la differenza possano essere i settaggi nella sezione <type> è possibile?

è noto che ext4 consuma di più, ma anche ext3, ma questo succede ANCHE perchè si occupa di evitare la deframmentazione. Cmq ext3 ed ext2 consumano meno. Non so se ext2 va deframmentato (ma credo di no). E poi anche le prestazioni si pagano in termini di W.

Cmq la critica più feroce mossa ad ext4 è dovuta proprio al fatte che ext4 stressa di più gli HD. Cmq credo che potresti provare con ext3 se vuoi ridurre. E sarebbe interessante anche sapere qual'è il risultato dei tuoi test.

[Life bringer]

Il risultato dal punto di vista dei consumi l'ho già incollato.
HD: WDC_WD3200SD-01KNB0
XFS: 71W
EXT4: 94W

T'incollo anche quelli dell'hd nuovo:
HD: SAMSUNG_HD502HJ
XFS: ??W
EXT4: 77W

Non sapevo dell'aumento dei consumi derivante dall'ext4, sinceramente se devo scegliere fra ext3 e xfs vado di quest'ultimo senza dubbio alcuno, quantomeno lo conosco e so come comportarmi :)

La domanda che mi pongo a questo punto è: per un muletto (con apache, mysql, mldonkey) conviene tenere xfs o ext4? Lasciando perdere per un attimo i consumi.

T'incollo anche il risultato della compilazione del kernel (sempre a parità di settaggi) con wd e il samsung, qui penso che il FS c'entri poco in ogni caso:

WD 320:
real 13m20.236s
user 20m35.273s
sys 2m45.878s

SAM 500:
real 12m5.109s
user 19m44.834s
sys 2m42.078s

[vampirodolce1]

Come hai fatto a misurare i consumi del disco?
C'e' qualche comando che lo fa?
grazie

[Life bringer]

Non sono i consumi del solo hard disk, ci mancherebbe :asd:
Ho usato un wattmetro a monte dell'alimentatore :)

[zephyr83]

Non sono i consumi del solo hard disk, ci mancherebbe :asd:
Ho usato un wattmetro a monte dell'alimentatore :)
guarda, nn credo poco che SOLO il file system incida di ben 23 watt sul sistema TOTALE! penso sia impossibile :sofico: sai quanto consuma un hard disk?

[Life bringer]

guarda, nn credo poco che SOLO il file system incida di ben 23 watt sul sistema TOTALE! penso sia impossibile :sofico: sai quanto consuma un hard disk?

Guarda parliamo di un hd che ha parecchi anni sul groppone (il wd) purtroppo la scheda tecnica sul sito wd è non carente... di più ;)
Che ti devo dire... questi sono i risultati che ho riscontrato io... purtroppo non posso fare la prova inversa, ovvero il samsung con xfs, in quanto sarebbe un traffico non indifferente (spostare 2 volte i dati, grazie ma no grazie), altrimenti la farei ben volentieri...

[iron84]

guarda, nn credo poco che SOLO il file system incida di ben 23 watt sul sistema TOTALE! penso sia impossibile :sofico: sai quanto consuma un hard disk?
Siccome il wattametro è a monte dell'alimentatore quei consumi son dovuti in gran parte alla cpu. Se la cpu ha uno scaling, basta che viene stressata di più = consuma di più.

[zephyr83]

Siccome il wattametro è a monte dell'alimentatore quei consumi son dovuti in gran parte alla cpu. Se la cpu ha uno scaling, basta che viene stressata di più = consuma di più.
si ma 23 watt in più è un'enormità! Stiamo parlando di 70-90 watt! a me pare davvero troppo per esser colpa solo del file system!

[Life bringer]

Siccome il wattametro è a monte dell'alimentatore quei consumi son dovuti in gran parte alla cpu. Se la cpu ha uno scaling, basta che viene stressata di più = consuma di più.

Ehm perdonami non sono così rincitrullito, la cpu è piantata a 800mhz con voltaggio fisso per questo tipo di test :) Inoltre non ho guardato il wattmetro per 1 secondo, ma per parecchio tempo, fatto sta che con xfs il wattmetro misura 70 e con ext4 ne misura 94 :muro:

si ma 23 watt in più è un'enormità! Stiamo parlando di 70-90 watt! a me pare davvero troppo per esser colpa solo del file system!

Ma io son d'accordo con te, è più del 10% in più! Però a parita di hardware cambia solo il fs :cry:

[zephyr83]

Ehm perdonami non sono così rincitrullito, la cpu è piantata a 800mhz con voltaggio fisso per questo tipo di test :) Inoltre non ho guardato il wattmetro per 1 secondo, ma per parecchio tempo, fatto sta che con xfs il wattmetro misura 70 e con ext4 ne misura 94 :muro:



Ma io son d'accordo con te, è più del 10% in più! Però a parita di hardware cambia solo il fs :cry:
per cambiare file system hai sicuramente dovuto reinstallare il sistema operativo! forse dipende da qualche processo in più che gira sempre in background. Hai riprovato anche a reinstallare di nuovo il sistema operativo usando il vecchio file system?

[Life bringer]

per cambiare file system hai sicuramente dovuto reinstallare il sistema operativo! forse dipende da qualche processo in più che gira sempre in background. Hai riprovato anche a reinstallare di nuovo il sistema operativo usando il vecchio file system?

Non ho reinstallato un bel niente, altrimenti non avrei cambiato hd :D Ho clonato l'hd dalla live di ubuntu come mi ha insegnato il buon Gimli :)

[zephyr83]

Non ho reinstallato un bel niente, altrimenti non avrei cambiato hd :D Ho clonato l'hd dalla live di ubuntu come mi ha insegnato il buon Gimli :)
cacchio allora nn ci sn tante altre alternative :sofico: a me pare davvero assurdo!! come fa a consumare così tanto solo per via del file system? :eek:
cmq per curiosità, perché nn provi in una partizione a reinstallare il sistema da zero e vedere se cambia qualcosa?

[Life bringer]

Ti metto "virtualmente" s'intende :D
A disposizione l'hd da 320gb dimmi che prove vuoi che faccia :)

[Gimli[2BV!2B]]

Io, in un sistema giocattolo, ho provato ad alleggerire al massimo il journaling con l'opzione data=writeback (Documentazione (http://git.kernel.org/?p=linux/kernel/git/torvalds/linux-2.6.git;a=blob;f=Documentation/filesystems/ext4.txt;h=7be02ac5fa36d7f4c07856fe9cf89391e08986f7;hb=HEAD)).

In quel sistema ho impostato quel tipo di journal da qualche mese e non ho riscontrato problemi.
Tra l'altro poche settimane fa quel vecchio pc è stato soggetto a una decina di pessimi crash durante delle compilazioni, dovuti proprio a un contatto rovinato del canale IDE1: nonostante il jornal molto blando non ho notato perdite di dati e le partizioni sono rimaste in buona forma.

Ho trovato anche questo link in cui sono segnalate altre opzioni che dovrebbero ridurre al minimo le attività accessorie del file system (http://bbs.archlinux.org/viewtopic.php?id=79283), fino alla disattivazione completa del journal, che però mi sembra un po' eccessivo in un disco normale.

Potresti vedere se si nota qualche cambiamento significativo.

Se la partizione contiene dati importanti, il jornaling writeback è vivamente sconsigliato, come tutte le altre opzioni.

[zephyr83]

Ti metto "virtualmente" s'intende :D
A disposizione l'hd da 320gb dimmi che prove vuoi che faccia :)
niente di particolare, prova a fare due partizioni, installi lo stesso sistema operativo usando soltanto file system differenti. così ci togliamo il dubbio! nn vorrei che cn il metodo che hai usato, cioè clonare la partizione originale, l'hard disk stia continuamente in funzione per "risistemare" le informazioni sui file in base al nuovo file system........nn so se ho detto una boiata ma è l'unica cosa che mi è venuto in mente per spigare questo consumo anomalo (nn voglio credere che ext4 consumi così tanto :sofico: )

[Life bringer]

;30128319']Io, in un sistema giocattolo, ho provato ad alleggerire al massimo il journaling con l'opzione data=writeback (Documentazione (http://git.kernel.org/?p=linux/kernel/git/torvalds/linux-2.6.git;a=blob;f=Documentation/filesystems/ext4.txt;h=7be02ac5fa36d7f4c07856fe9cf89391e08986f7;hb=HEAD)).

In quel sistema ho impostato quel tipo di journal da qualche mese e non ho riscontrato problemi.
Tra l'altro poche settimane fa quel vecchio pc è stato soggetto a una decina di pessimi crash durante delle compilazioni, dovuti proprio a un contatto rovinato del canale IDE1: nonostante il jornal molto blando non ho notato perdite di dati e le partizioni sono rimaste in buona forma.

Ho trovato anche questo link in cui sono segnalate altre opzioni che dovrebbero ridurre al minimo le attività accessorie del file system (http://bbs.archlinux.org/viewtopic.php?id=79283), fino alla disattivazione completa del journal, che però mi sembra un po' eccessivo in un disco normale.

Potresti vedere se si nota qualche cambiamento significativo.

Se la partizione contiene dati importanti, il jornaling writeback è vivamente sconsigliato, come tutte le altre opzioni.

Parli del guru e spunta la conoscenza, ti ringrazio per i tuoi preziosi consigli, adesso avevo in mente di fare il seguente test:
Ubuntu 9.10 (per semplicità) installazione standard, aggiornamento di tutti i pacchetti e rilevazione con ambo i fs, alla luce dei risultati ottenuti vedo che pratiche mettere in atto per un ulteriore consumo energetico.

Zephyr approvi la modalità di test? :D

[zephyr83]

Parli del guru e spunta la conoscenza, ti ringrazio per i tuoi preziosi consigli, adesso avevo in mente di fare il seguente test:
Ubuntu 9.10 (per semplicità) installazione standard, aggiornamento di tutti i pacchetti e rilevazione con ambo i fs, alla luce dei risultati ottenuti vedo che pratiche mettere in atto per un ulteriore consumo energetico.

Zephyr approvi la modalità di test? :D
si penso sia la cosa migliore da fare! aspetto notizie così alla prossima installazione di linux sul netbook evito ext4 :sofico:

[psimem]

Molto interessante questa cosa...
Cosi' su due piedi trovo strana anch'io una cosi' grossa differenza in termini di consumi cambiando unicamente il FS.
Aspetto i risultati del test :)

[Life bringer]

Sto installando or ora ubuntu con xfs, penso entro lunedì potrò postare i risultati...
Avete qualche consiglio se conviene fare dei test solamente in idle oppure anche in full?
In quel caso la compilazione del kernel come vi sembra?

Posto alcune cosette:
Ecco come ho partizionato l'hd e farò lo stesso con l'altro fs:
/dev/sda1 ext2 128mb
/dev/sda2 swap 512mb
/dev/sda3 xfs o ext4 tutto il restante.

Su ubuntu 9.10, il pc è composto da:
Cpu: Athlon X2 BE-2350 (2150 mhz)
MB: As Rock AOD790GX/128M
Ram: 8gb kingston 800mhz
Hd: Western Digital RE3 320gb
Lan e audio integrate, sata impostato in modalità ahci.

I test:
XFS settaggi default, XFS con i settaggi che usavo su debian, EXT4 settaggi default, EXT4 settaggi "ottimizzati" (qui qualcuno deve dirmi cosa modificare però).
Consumi:
Idle cnq off
Idle cnq on
Suite phoronix test sul FS ripetuti 4 volte (è un test piuttosto lungo però)
Ditemi anche se serve il test di compilazione del kernel (per verificare tempo e consumi) che verrà dato con questi parametri:
CONCURRENCY_LEVEL=4 make-kpkg --append-to-version -min --revision=4 kernel_image

Fatemi sapere se interessa se no mi limito a rilevare i consumi in idle con cnq on e off.

[Life bringer]

Ecco i risultati:

/dev/sda1 ext2 128mb
/dev/sda2 swap 512mb
/dev/sda3 xfs o ext4 tutto il restante.

XFS defaults:
Idle cnq off: 99,88W
Idle cnq on: 79,80W

XFS opt*:
Idle cnq off: 99.88W
Idle cnq on: 80.85W

EXT4:
Idle cnq off: 100.75W
Idle cnq on: 79.80W


* noatime,nodiratime,logbufs=8

Questo dal punto di vista dei consumi, ho anche fatto il test del fs, ho esportato i risultati in pdf perchè non avrei avuto modo di allegarli qui comunque, qui il link. (http://nemoitaly.gotdns.com/fs.pdf)

Se qualcuno ha delle osservazioni da fare è il benvenuto, a questo punto penso avesse ragione zephyr probabilmente i consumi maggiori erano dovuti ad un riordinamento dei files nel nuovo FS.

[zephyr83]

bhe meglio così allora, avevo già iniziato a cancellare ext4 dalla memoria :sofico:

[psimem]

Ah meno male, mi sembrava strana una cosi' grossa differenza in termini di consumi ;)