[ot] il mio bimbo!

[HexDEF6]

Lo so che il titolo sembra far pensare qualcosa di diverso... ma alla fin dei conti e' stata dura anche in questo caso!
ecco le immagini (lo so che fanno un po schifo.... se volete vi posto anche un filmato)




questo e' il piccolo cluster (a basso budget) messo in piedi per calcoli scientifici
e' composto da:

- frontend: athlon 64 x2 4400+ 2Gb di ram 2 dischi in raid 1 da 300Gb sata
che gestisce le code per i nodi (usando maui e torque http://www.clusterresources.com/ ) ovviamente per far girare programmi scritti usando le librerie mpi (lam mpi http://www.lam-mpi.org/ )
inoltre sul frontend girano:
server dhcp (per dare i nomi ai nodi e per far partire pxelinux)
server tftp
nfs server per esportare / e /home ecc.

- storage: athlon 64 x2 4400+ 2Gb di ram 4 dischi in raid 5 da 300Gb (900 Gb di spazio utilizzabile)
esporta solamente la directory /storage via nfs in modo che gli utenti abbiano posto per salvare i propri risultati..
il computer fa il boot via rete

-23 nodi (in aumento): athlon 64 x2 4400' con 2 o 4 Gb di ram senza dischi
queste sono le macchine che vengono usate per fare calcoli

Abbiamo usato come schede madri delle asus a8n sli deluxe (non per lo sli!) ma per il fatto che avevano integrate 2 schede di rete: una nvidia e una marvell yukon; e la scheda nvidia e' collegata direttamente al pci express (banda reale circa 990Mbit/sec contro i circa 700Mbit/sec della marvell) cosa molto comoda visto che avendo il bus pci a 32 bit (non avevamo soldi per degli opteron!) la banda totale del pci e' di circa 160MB al secondo e condividerla fra dischi e 2 schede di rete diventava un cesso...

Abbiamo fatto alcune modifiche ai case: per il frontend e per lo storage abbiamo messo delle ventole supplementari per raffreddare i dischi, invece per tutti i nodi abbiamo staccato la "centralina" (i led di accensione e dei dischi + i 2 bottoni reset e power) e l'abbiamo posizionata sul retro del case (se guardate bene le foto la notate!) in modo tale che sia tutti gli attacchi che i pulsanti siano utilizzabili in modo semplice.

La piccola stanza e' raffreddata da 2 condizionatori (credo che in totale facciano circa 50000BTU ma di questo me ne intendo poco... so che abbiamo fatto i conti con i tecnici dei condizionatori) e sta sempre a circa 20 gradi... invece i pc sotto carico arrivano a circa 50 (la soglia massima dei dual core dovrebbe essere di circa 65 gradi).

Il sistema operativo usato e' gentoo a 64 bit... sui nodi sono stati modificati alcuni script di init, in modo tale da poter usare una sola / comune per tutti i nodi, e le personalizzazioni (tipo /tmp /var ecc. non possono essere condivise fra tutti) sono state fatte usando symlink e montaggio in ram di alcune parti del filesystem utilizzando come unico metodo di identificazione l'hostname passato dal server dhcp (e quindi praticamente dal mac-address delle schede di rete)...
In questa maniera upgradare, o aggiungere qualche pacchetto su tutti i nodi diventa velocissimo (se avessimo fatto una / per ogni nodo sarebbe stato da spararsi... sia in termini di spazio sia in termini di manutenzione)...

Il sistema e' su da qualche mese (e' partito con un frontend e 3 nodi), ogni tanto da qualche rogna (niente di grave... e adesso ho fatto uno script "autoriparatore") e in questi giorni dovrebbero pubblicare il primo articolo fatto intermente utilizzando il solo cluster...

Direi che per la spesa fatta il sistema e' una vera bomba... ed e' decisamente divertente smanettare su queste cose!

Ciao!

[roberto.chi1]

Chiedo subito scusa per l'ignoranza in materia, ma che cappero ci devi fare con quest'affare? Non vorrei ofenderti con questa domanda, ma, non conoscendoti e non sapendo quali sono i tuoi interessi in fatto di informatica, mi riesce difficile capire a cosa servono tutti questi pc cllegati se non per fare qualche record

P.S. ho capito che serve per calcoli scientifici, ma a che scopo?

[tutmosi3]

HexDEF6 amico.
Quando vengo a Bolzano passo dalle tue parti.
Vengo a trovarti a casa
Ciao

[HexDEF6]

Originariamente inviato da roberto.chi1

Chiedo subito scusa per l'ignoranza in materia, ma che cappero ci devi fare con quest'affare? Non vorrei ofenderti con questa domanda, ma, non conoscendoti e non sapendo quali sono i tuoi interessi in fatto di informatica, mi riesce difficile capire a cosa servono tutti questi pc cllegati se non per fare qualche record

P.S. ho capito che serve per calcoli scientifici, ma a che scopo?

Ovviamente abbiamo messo in piedi il cluster, non per sfizio mio, ma per essere usato dai vari ricercatori...
se vuoi la descrizione di alcuni calcoli che ci fanno ecco qua:

* Calcoli di dinamica molecolare di sistemi complessi, in particolari doppi strati di gangliosidi GM3 e fosfolipidi (DMPC,DPPC) in soluzione acquosa. Il cluster di dipartimento viene sfruttato utilizzando il codice di dinamica molecolare parallelo GROMACS, e numerosi codici di analisi dati prodotti dal gruppo. Lo studio di questi sistemi complessi (taglia ~ 40.000 atomi) richiede l'utilizzo intensivo di risorse di calcolo parallele, in quanto i tempi tipici di rilassamento del sistema superano ampiamente il nanosecondo, ovvero svariati milioni di passi di integrazione. Le caratteristiche "fine grained" del calcolo di dinamica molecolare richiedono inoltre la presenza di metodi di comunicazine altamente veloci tra le unita' di calcolo. Attualmente si stanno studiando:
** modifiche agli attuali campi di forze per i fosfolipidi, guidati dal confronto con risultati di scattering di luce X ad alti angoli (WAXS). In particolare si sta effettuando uno studio sull'andamento in temperatura della posizione del picco WAXS a 15 nm^{-1}
** dinamica collettiva dell'acqua in interazione con le teste zuccherine del ganglioside GM3 e struttura della rete di legami idrogeno in dipendenza dalla distanza della superficie del GM3.

* Studio delle proprietà di ground-state di un cristallo di para-idrogeno molecolare per mezzo di tecniche Quantum Monte Carlo. Studio delle proprietà di nuclei finiti e dell'equazione di stato della materia nucleare con algoritmo Auxiliary Field Diffusion Monte Carlo. Calcolo dell'equazione di stato di un cristallo di He-3 e dell'energia di attivazione di una vacanza mediante Variational Monte Carlo con Shadow Wave Function.

Originariamente inviato da tutmosi3

HexDEF6 amico.
Quando vengo a Bolzano passo dalle tue parti.
Vengo a trovarti a casa
Ciao

magari avessi a casa una bestiola del genere

il tutto si trova in universita' (lavoro per il dip. di fisica dell'universita' di TN)

Ciao

[tutmosi3]

Uauuuu ... Un vero ricercatore.
Quale onore.
Io ho una venerazione verso i cluster.
Ciao

[roberto.chi1]

Ecco ora va meglio Grazie per l'esauriente spiegazione

[HexDEF6]

Originariamente inviato da tutmosi3

Uauuuu ... Un vero ricercatore.
Quale onore.
Io ho una venerazione verso i cluster.
Ciao

occhio che io non sono un ricercatore (anche se come "hobby" mi voglio laureare in fisica)...
ma solo il povero sistemista che ha messo in piedi tutto il cluster (con l'aiuto di un ricercatore)...

Originariamente inviato da roberto.chi1

Ecco ora va meglio Grazie per l'esauriente spiegazione

cosa credevi.. che avessi quei 30 40 mila euro da spendere per farmi un cluster?

magari!

Ciao!

[roberto.chi1]

Mah, sai com'è......Tante le volte tu fossi milionario, un piccolo sfizio tanto per navigare su internet, giocare un po'....

[tutmosi3]

Originariamente inviato da roberto.chi1

Mah, sai com'è......Tante le volte tu fossi milionario, un piccolo sfizio tanto per navigare su internet, giocare un po'....

Si però con una carabattola del genere, al massimo ouoi giocare con il Solitario.

[tutmosi3]

Anzi scusate ... HexDEF6, secondo me, userà quel clusterino per giocare a Track Mania dove mi ha regolarmente battuto.
Ciao

[aLLaNoN81]

Originariamente inviato da HexDEF6

Mica male come piccolo cluster, immagino che ti sarai divertito alla grande a tirare in piedi un sistema del genere
Nella mia università non son mai riuscito nemmeno a vedere con il binocolo il reparto cluster, so solo che ne abbiamo diversi, tra cui un paio con hardware Sun

[aLLaNoN81]

Originariamente inviato da roberto.chi1

Chiedo subito scusa per l'ignoranza in materia, ma che cappero ci devi fare con quest'affare? Non vorrei ofenderti con questa domanda, ma, non conoscendoti e non sapendo quali sono i tuoi interessi in fatto di informatica, mi riesce difficile capire a cosa servono tutti questi pc cllegati se non per fare qualche record

P.S. ho capito che serve per calcoli scientifici, ma a che scopo?

Più che altro in una normale casa con un normale contatore non si riuscirebbe nemmeno a tenerlo acceso un sistema del genere

[tutmosi3]

Originariamente inviato da aLLaNoN81

Più che altro in una normale casa con un normale contatore non si riuscirebbe nemmeno a tenerlo acceso un sistema del genere

Esatto ... Anche per un motivo importante

Originariamente inviato da HexDEF6

-23 nodi (in aumento)

Quel "in aumento" mi piace molto.
HexDEF6 a quanto puntate?
Mi raccomando sulla climatizzazione della stanza.
Non è facile tenere a bada le temperature con tutte quelle bestie.

Ammetto di non aver letto tutto attentamente.
Quanto hai di storage?
Ciao

[VICIUS]

Complimenti per il pargolo

ciao

[HexDEF6]

Originariamente inviato da tutmosi3

Esatto ... Anche per un motivo importante
Quel "in aumento" mi piace molto.

per ora ci sono altre 4 macchine da montare... di cui una probabilmente si affianchera' a storage

Originariamente inviato da tutmosi3

HexDEF6 a quanto puntate?
Mi raccomando sulla climatizzazione della stanza.
Non è facile tenere a bada le temperature con tutte quelle bestie.

credo che come massimo (se si tiene tutto in questa stanza) si arriveranno a circa 30 - 36 nodi... ma dipende piu' che altro dai fondi!

Originariamente inviato da tutmosi3

Ammetto di non aver letto tutto attentamente.
Quanto hai di storage?
Ciao

900Gb... ma con altri 900 gia pronti se ci sono problemi di spazio

[maxithron]

Ottimo lavoro Hex

[Gica78R]

Originariamente inviato da HexDEF6

credo che come massimo (se si tiene tutto in questa stanza) si arriveranno a circa 30 - 36 nodi... ma dipende piu' che altro dai fondi!

Se accettate donazioni, posso privarmi del mio vecchio, caro, 486DX2

Comunque complimenti per il pargolo... Come lo chiamerete?

[wubby]

Ottimo lavoro...

[aLLaNoN81]

Originariamente inviato da HexDEF6

900Gb... ma con altri 900 gia pronti se ci sono problemi di spazio

Se avete usato dei sata e non degli scsi (come immagino), forse sarebbe meglio pensare a fare un po' più di backup, avere solo un raid 5 non è proprio il massimo dell'affidabilità...

[The Force]

quando ci mettete Rosetta?