View Full Version : [ot] il mio bimbo!
Lo so che il titolo sembra far pensare qualcosa di diverso... ma alla fin dei conti e' stata dura anche in questo caso!
ecco le immagini (lo so che fanno un po schifo.... se volete vi posto anche un filmato)
http://img475.imageshack.us/img475/4793/img00048hi.th.jpg (http://img475.imageshack.us/my.php?image=img00048hi.jpg)
http://img449.imageshack.us/img449/9008/img00058ac.th.jpg (http://img449.imageshack.us/my.php?image=img00058ac.jpg)
http://img449.imageshack.us/img449/2723/img00065sh.th.jpg (http://img449.imageshack.us/my.php?image=img00065sh.jpg)
questo e' il piccolo cluster (a basso budget) messo in piedi per calcoli scientifici
e' composto da:
- frontend: athlon 64 x2 4400+ 2Gb di ram 2 dischi in raid 1 da 300Gb sata
che gestisce le code per i nodi (usando maui e torque http://www.clusterresources.com/ ) ovviamente per far girare programmi scritti usando le librerie mpi (lam mpi http://www.lam-mpi.org/ )
inoltre sul frontend girano:
server dhcp (per dare i nomi ai nodi e per far partire pxelinux)
server tftp
nfs server per esportare / e /home ecc.
- storage: athlon 64 x2 4400+ 2Gb di ram 4 dischi in raid 5 da 300Gb (900 Gb di spazio utilizzabile)
esporta solamente la directory /storage via nfs in modo che gli utenti abbiano posto per salvare i propri risultati..
il computer fa il boot via rete
-23 nodi (in aumento): athlon 64 x2 4400' con 2 o 4 Gb di ram senza dischi
queste sono le macchine che vengono usate per fare calcoli
Abbiamo usato come schede madri delle asus a8n sli deluxe (non per lo sli!) ma per il fatto che avevano integrate 2 schede di rete: una nvidia e una marvell yukon; e la scheda nvidia e' collegata direttamente al pci express (banda reale circa 990Mbit/sec contro i circa 700Mbit/sec della marvell) cosa molto comoda visto che avendo il bus pci a 32 bit (non avevamo soldi per degli opteron!) la banda totale del pci e' di circa 160MB al secondo e condividerla fra dischi e 2 schede di rete diventava un cesso...
Abbiamo fatto alcune modifiche ai case: per il frontend e per lo storage abbiamo messo delle ventole supplementari per raffreddare i dischi, invece per tutti i nodi abbiamo staccato la "centralina" (i led di accensione e dei dischi + i 2 bottoni reset e power) e l'abbiamo posizionata sul retro del case (se guardate bene le foto la notate!) in modo tale che sia tutti gli attacchi che i pulsanti siano utilizzabili in modo semplice.
La piccola stanza e' raffreddata da 2 condizionatori (credo che in totale facciano circa 50000BTU ma di questo me ne intendo poco... so che abbiamo fatto i conti con i tecnici dei condizionatori) e sta sempre a circa 20 gradi... invece i pc sotto carico arrivano a circa 50 (la soglia massima dei dual core dovrebbe essere di circa 65 gradi).
Il sistema operativo usato e' gentoo a 64 bit... sui nodi sono stati modificati alcuni script di init, in modo tale da poter usare una sola / comune per tutti i nodi, e le personalizzazioni (tipo /tmp /var ecc. non possono essere condivise fra tutti) sono state fatte usando symlink e montaggio in ram di alcune parti del filesystem utilizzando come unico metodo di identificazione l'hostname passato dal server dhcp (e quindi praticamente dal mac-address delle schede di rete)...
In questa maniera upgradare, o aggiungere qualche pacchetto su tutti i nodi diventa velocissimo (se avessimo fatto una / per ogni nodo sarebbe stato da spararsi... sia in termini di spazio sia in termini di manutenzione)...
Il sistema e' su da qualche mese (e' partito con un frontend e 3 nodi), ogni tanto da qualche rogna (niente di grave... e adesso ho fatto uno script "autoriparatore") e in questi giorni dovrebbero pubblicare il primo articolo fatto intermente utilizzando il solo cluster...
Direi che per la spesa fatta il sistema e' una vera bomba... ed e' decisamente divertente smanettare su queste cose!
Ciao!
roberto.chi1
05-07-2006, 23:23
Chiedo subito scusa per l'ignoranza in materia, ma che cappero ci devi fare con quest'affare? Non vorrei ofenderti con questa domanda, ma, non conoscendoti e non sapendo quali sono i tuoi interessi in fatto di informatica, mi riesce difficile capire a cosa servono tutti questi pc cllegati se non per fare qualche record :confused:
P.S. ho capito che serve per calcoli scientifici, ma a che scopo?
tutmosi3
06-07-2006, 07:55
HexDEF6 amico.
Quando vengo a Bolzano passo dalle tue parti.
Vengo a trovarti a casa :ave: :ave: :ave:
Ciao
Chiedo subito scusa per l'ignoranza in materia, ma che cappero ci devi fare con quest'affare? Non vorrei ofenderti con questa domanda, ma, non conoscendoti e non sapendo quali sono i tuoi interessi in fatto di informatica, mi riesce difficile capire a cosa servono tutti questi pc cllegati se non per fare qualche record :confused:
P.S. ho capito che serve per calcoli scientifici, ma a che scopo?
Ovviamente abbiamo messo in piedi il cluster, non per sfizio mio, ma per essere usato dai vari ricercatori...
se vuoi la descrizione di alcuni calcoli che ci fanno ecco qua:
* Calcoli di dinamica molecolare di sistemi complessi, in particolari doppi strati di gangliosidi GM3 e fosfolipidi (DMPC,DPPC) in soluzione acquosa. Il cluster di dipartimento viene sfruttato utilizzando il codice di dinamica molecolare parallelo GROMACS, e numerosi codici di analisi dati prodotti dal gruppo. Lo studio di questi sistemi complessi (taglia ~ 40.000 atomi) richiede l'utilizzo intensivo di risorse di calcolo parallele, in quanto i tempi tipici di rilassamento del sistema superano ampiamente il nanosecondo, ovvero svariati milioni di passi di integrazione. Le caratteristiche "fine grained" del calcolo di dinamica molecolare richiedono inoltre la presenza di metodi di comunicazine altamente veloci tra le unita' di calcolo. Attualmente si stanno studiando:
** modifiche agli attuali campi di forze per i fosfolipidi, guidati dal confronto con risultati di scattering di luce X ad alti angoli (WAXS). In particolare si sta effettuando uno studio sull'andamento in temperatura della posizione del picco WAXS a 15 nm^{-1}
** dinamica collettiva dell'acqua in interazione con le teste zuccherine del ganglioside GM3 e struttura della rete di legami idrogeno in dipendenza dalla distanza della superficie del GM3.
* Studio delle proprietà di ground-state di un cristallo di para-idrogeno molecolare per mezzo di tecniche Quantum Monte Carlo. Studio delle proprietà di nuclei finiti e dell'equazione di stato della materia nucleare con algoritmo Auxiliary Field Diffusion Monte Carlo. Calcolo dell'equazione di stato di un cristallo di He-3 e dell'energia di attivazione di una vacanza mediante Variational Monte Carlo con Shadow Wave Function.
HexDEF6 amico.
Quando vengo a Bolzano passo dalle tue parti.
Vengo a trovarti a casa :ave: :ave: :ave:
Ciao
magari avessi a casa una bestiola del genere :sofico: :D
il tutto si trova in universita' (lavoro per il dip. di fisica dell'universita' di TN)
Ciao
tutmosi3
06-07-2006, 08:43
Uauuuu ... Un vero ricercatore.
Quale onore.
Io ho una venerazione verso i cluster.
Ciao
roberto.chi1
06-07-2006, 08:48
Ecco ora va meglio :D Grazie per l'esauriente spiegazione ;)
Uauuuu ... Un vero ricercatore.
Quale onore.
Io ho una venerazione verso i cluster.
Ciao
occhio che io non sono un ricercatore (anche se come "hobby" mi voglio laureare in fisica)...
ma solo il povero sistemista che ha messo in piedi tutto il cluster (con l'aiuto di un ricercatore)...
Ecco ora va meglio :D Grazie per l'esauriente spiegazione ;)
cosa credevi.. che avessi quei 30 40 mila euro da spendere per farmi un cluster? :D :sofico: :sofico: :D
magari! :mc:
Ciao!
roberto.chi1
06-07-2006, 10:36
Mah, sai com'è......Tante le volte tu fossi milionario, un piccolo sfizio tanto per navigare su internet, giocare un po'.... :sofico: :sofico: :sofico:
tutmosi3
06-07-2006, 10:40
Mah, sai com'è......Tante le volte tu fossi milionario, un piccolo sfizio tanto per navigare su internet, giocare un po'.... :sofico: :sofico: :sofico:
Si però con una carabattola del genere, al massimo ouoi giocare con il Solitario. :D
tutmosi3
06-07-2006, 10:42
Anzi scusate ... HexDEF6, secondo me, userà quel clusterino per giocare a Track Mania dove mi ha regolarmente battuto.
Ciao
aLLaNoN81
06-07-2006, 11:02
http://img475.imageshack.us/img475/4793/img00048hi.th.jpg (http://img475.imageshack.us/my.php?image=img00048hi.jpg)
http://img449.imageshack.us/img449/9008/img00058ac.th.jpg (http://img449.imageshack.us/my.php?image=img00058ac.jpg)
http://img449.imageshack.us/img449/2723/img00065sh.th.jpg (http://img449.imageshack.us/my.php?image=img00065sh.jpg)
Mica male come piccolo cluster, immagino che ti sarai divertito alla grande a tirare in piedi un sistema del genere :)
Nella mia università non son mai riuscito nemmeno a vedere con il binocolo il reparto cluster, so solo che ne abbiamo diversi, tra cui un paio con hardware Sun :eek:
aLLaNoN81
06-07-2006, 11:04
Chiedo subito scusa per l'ignoranza in materia, ma che cappero ci devi fare con quest'affare? Non vorrei ofenderti con questa domanda, ma, non conoscendoti e non sapendo quali sono i tuoi interessi in fatto di informatica, mi riesce difficile capire a cosa servono tutti questi pc cllegati se non per fare qualche record :confused:
P.S. ho capito che serve per calcoli scientifici, ma a che scopo?
Più che altro in una normale casa con un normale contatore non si riuscirebbe nemmeno a tenerlo acceso un sistema del genere :D
tutmosi3
06-07-2006, 11:11
Più che altro in una normale casa con un normale contatore non si riuscirebbe nemmeno a tenerlo acceso un sistema del genere :D
Esatto ... Anche per un motivo importante -23 nodi (in aumento)
Quel "in aumento" mi piace molto.
HexDEF6 a quanto puntate?
Mi raccomando sulla climatizzazione della stanza.
Non è facile tenere a bada le temperature con tutte quelle bestie.
Ammetto di non aver letto tutto attentamente.
Quanto hai di storage?
Ciao
Complimenti per il pargolo :D
ciao ;)
Esatto ... Anche per un motivo importante
Quel "in aumento" mi piace molto.
per ora ci sono altre 4 macchine da montare... di cui una probabilmente si affianchera' a storage
HexDEF6 a quanto puntate?
Mi raccomando sulla climatizzazione della stanza.
Non è facile tenere a bada le temperature con tutte quelle bestie.
credo che come massimo (se si tiene tutto in questa stanza) si arriveranno a circa 30 - 36 nodi... ma dipende piu' che altro dai fondi!
Ammetto di non aver letto tutto attentamente.
Quanto hai di storage?
Ciao
900Gb... ma con altri 900 gia pronti se ci sono problemi di spazio
maxithron
06-07-2006, 11:46
Ottimo lavoro Hex :)
credo che come massimo (se si tiene tutto in questa stanza) si arriveranno a circa 30 - 36 nodi... ma dipende piu' che altro dai fondi!
Se accettate donazioni, posso privarmi del mio vecchio, caro, 486DX2 :p
Comunque complimenti per il pargolo... Come lo chiamerete? :D
aLLaNoN81
06-07-2006, 12:17
900Gb... ma con altri 900 gia pronti se ci sono problemi di spazio
Se avete usato dei sata e non degli scsi (come immagino), forse sarebbe meglio pensare a fare un po' più di backup, avere solo un raid 5 non è proprio il massimo dell'affidabilità...
The Force
06-07-2006, 12:29
quando ci mettete Rosetta?
edivad82
06-07-2006, 12:40
ma prendere un paio di armadi rack e server con case rack? :p salvavi spazio e guadagnavi in salute :D :p
cmq bel lavoretto :D
tutmosi3
06-07-2006, 13:32
per ora ci sono altre 4 macchine da montare... di cui una probabilmente si affianchera' a storage
credo che come massimo (se si tiene tutto in questa stanza) si arriveranno a circa 30 - 36 nodi... ma dipende piu' che altro dai fondi!
900Gb... ma con altri 900 gia pronti se ci sono problemi di spazio
Quasi 1 TB di spazio ...
Più altrettanti in arrivo.
Davvero una bella bestia.
Noi abbiamo fatto un cluster (molto più piccolo del tuo ma molto più capiente) per una sede museale a Venezia.
La stanza era pittosto piccola, l'armadio rack è stato riadattato da noi per montare 2 ventole aggiuntive oltre al torrino di estrazione originale.
Come ho già detto, occhio alle tempetature. Sono state il "problema" più grosso che abbiamo avuto.
A proposito di quel lavoretto vi posto un episodio comico.
In quel cantiere, c'è stato una furto.
Nottetempo i ladri hanno asportato cavi elettrici, trapani, avviatatori, cassette con gli attrezzi e scale ma hanno lasciato su posto HD da 300 GB, switch gigabit, PC all in one con touch screen, IP cam, ecc.
CHE POLLI.
PS
Beccare un complimento dal nostro mega amministratore su un cluster è una bella soddisfazione, guarda che il buon Davide, di cluster se ne intende.
Ciao
Tecniko_renzo
06-07-2006, 14:08
I Miei complimenti da un altro trentino!! :D Bravo, veramente bravo :sofico:
Quel Mostro ti compila gentoo in 5 minuti :asd:
maulattu
06-07-2006, 15:03
nome utente e password? :sofico: :sofico: :sofico: :sofico:
Se avete usato dei sata e non degli scsi (come immagino), forse sarebbe meglio pensare a fare un po' più di backup, avere solo un raid 5 non è proprio il massimo dell'affidabilità...
infatti facciamo un backup delle home su altri 2 computer che hanno 2 dischi in raid1 e poi su dvd...
per storage, invece restiamo cosi, visto che una volta che si hanno i risultati dei programmi la gente e' pregata di portarseli sul proprio pc personale!
Se accettate donazioni, posso privarmi del mio vecchio, caro, 486DX2 :p
Comunque complimenti per il pargolo... Come lo chiamerete? :D
il pargolo si chiama wiglaf (nome scelto dal ricercatore, a mia insaputa :mad: :D :D )
dovrebbe essere qualche dio di qualche mitologia (me lo ha pure spiegato... ma non ci ho badato molto! :D )
ma prendere un paio di armadi rack e server con case rack? :p salvavi spazio e guadagnavi in salute :D :p
cmq bel lavoretto :D
l'idea e' stata scartata per 2 motivi:
- troppo costoso
- visto che sara' un cluster in continua espansione, si pensa che al posto di investire soldi in macchine per l'utente (che di solito usa per guardare internet, usare latex, posta elettronica, fare presentazioni ecc.) si mettono i soldi in nuovi nodi per il cluster, e quando raggiungiamo il limite di spazio, convertiamo le macchine piu' vecchie in desktop per gli utenti (ora c'e' gente che lavora ancora con dei pentium 2)...
ovviamente questa seconda parte si verifichera' solamente fra un paio di anni!
Ciao!
The Force
06-07-2006, 17:57
e nel tempo libero cosa gli fate fare? :D
e nel tempo libero cosa gli fate fare? :D
tempo libero? :D
# showq
ACTIVE JOBS--------------------
JOBNAME USERNAME STATE PROC REMAINING STARTTIME
4493 sega Running 1 3:06:54 Thu Jul 6 13:10:51
4485 gandolfi Running 8 22:42:26 Thu Jul 6 09:46:23
4499 gio Running 1 3:22:28:13 Thu Jul 6 13:32:10
4503 operetto Running 10 4:02:41:27 Thu Jul 6 17:45:24
4310 astra Running 1 6:17:01:47 Thu Jun 29 12:05:44
4311 astra Running 1 13:13:01:52 Thu Jun 29 12:05:49
4312 astra Running 1 13:13:09:26 Thu Jun 29 12:13:23
4313 astra Running 1 13:13:10:15 Thu Jun 29 12:14:12
4507 gio Running 6 20:18:50:11 Thu Jul 6 17:54:08
4510 gio Running 4 20:18:52:42 Thu Jul 6 17:56:39
4407 pal Running 2 23:15:24:59 Fri Jun 30 10:28:56
4409 pal Running 2 23:15:26:16 Fri Jun 30 10:30:13
4408 pal Running 2 23:15:33:45 Fri Jun 30 10:37:42
4410 pal Running 2 23:15:38:07 Fri Jun 30 10:42:04
14 Active Jobs 42 of 42 Processors Active (100.00%)
21 of 21 Nodes Active (100.00%)
IDLE JOBS----------------------
JOBNAME USERNAME STATE PROC WCLIMIT QUEUETIME
4506 operetto Idle 4 1:00:00:00 Thu Jul 6 16:48:37
4509 operetto Idle 4 1:00:00:00 Thu Jul 6 17:55:16
2 Idle Jobs
BLOCKED JOBS----------------
JOBNAME USERNAME STATE PROC WCLIMIT QUEUETIME
Total Jobs: 16 Active Jobs: 14 Idle Jobs: 2 Blocked Jobs: 0
per giunta ho un nodo sotto esame...
domani e' meglio se aggiungo un paio di nodi!
edivad82
06-07-2006, 18:09
l'idea e' stata scartata per 2 motivi:
- troppo costoso
- visto che sara' un cluster in continua espansione, si pensa che al posto di investire soldi in macchine per l'utente (che di solito usa per guardare internet, usare latex, posta elettronica, fare presentazioni ecc.) si mettono i soldi in nuovi nodi per il cluster, e quando raggiungiamo il limite di spazio, convertiamo le macchine piu' vecchie in desktop per gli utenti (ora c'e' gente che lavora ancora con dei pentium 2)...
ovviamente questa seconda parte si verifichera' solamente fra un paio di anni!
Ciao!
capit...beh, così ha una sua logica ;)
The Force
06-07-2006, 18:13
vabbè, non me ne intendo molto... cmq nella remota eventualità che ci sia un pò di tempo libero puoi dargli in pasto qualche progetto di calcolo distribuito, come Rosetta@home! ;) se non sai di cosa si tratta, vieni nel forum di Seti@home!!! :D ciao :p
vabbè, non me ne intendo molto... cmq nella remota eventualità che ci sia un pò di tempo libero puoi dargli in pasto qualche progetto di calcolo distribuito, come Rosetta@home! ;) se non sai di cosa si tratta, vieni nel forum di Seti@home!!! :D ciao :p
so cos'e' ho il mio amico che lavorava come sistemista win nei laboratori didattici, e aveva "impestato" un centianio di macchine con il seti! :D
all'inizio c'era stata l'idea di gestire i conti del cluster con boinc... ma e' stata scartata per via di parecchie complicazioni...
The Force
06-07-2006, 18:22
una soluzione la troviamo per farlo scaccolare, non ti preoccupare! :D MEglio se con Rosetta, così aiutiamo la ricerca medica! Quando e se vuoi vieni a trovarci di là! ciao! ;)
dario_Buonpensiere
06-07-2006, 18:22
si oppure nel tempo libero potete farci girare tux racer .... ma avete attivato l'opengl via ahrdware ? hahahahahahahha ... cmq belle bestiole eh ...... io che pensavo che ste robe qui le usavano solo alla nasa ... anche qui in italia ci difendiamo bene :) cmq sembrate troppo impegnati per farci girare tuxracer !
si oppure nel tempo libero potete farci girare tux racer .... ma avete attivato l'opengl via ahrdware ? hahahahahahahha ... cmq belle bestiole eh ...... io che pensavo che ste robe qui le usavano solo alla nasa ... anche qui in italia ci difendiamo bene :) cmq sembrate troppo impegnati per farci girare tuxracer !
anche perche' non hanno nemmeno una scheda video :fagiano:
SerMagnus
06-07-2006, 21:01
wow complimentoni :D
posso osare farti una domanda? ovviamente nn me ne intendo di queste cose ma: come fanno i client a fare il boot?
wow complimentoni :D
posso osare farti una domanda? ovviamente nn me ne intendo di queste cose ma: come fanno i client a fare il boot?
via rete!
praticamente il server dhcp passa il bootloader (pxelinux) che si piglia il kernel dal server tftp, e il kernel e' fatto in modo tale che monti la root via nfs
Ciao!
anche perche' non hanno nemmeno una scheda video :fagiano:
Scusa la mia ignoranza, ma come è possibile?
Scusa la mia ignoranza, ma come è possibile?
le macchine non hanno ne tastiera ne mouse ne scheda video...
vengono usate in remoto, quindi la scheda video non serve
Grazie per la risposta.
Per quanto riguarda l'uso completamente da remoto lo avevo immaginato.
La mia domanda era riferita al fatto su come fosse possibile poter far avviare la macchina senza scheda video senza incorrere nella segnalazione sonora del bios di scheda video mancante.
edivad82
07-07-2006, 09:19
Grazie per la risposta.
Per quanto riguarda l'uso completamente da remoto lo avevo immaginato.
La mia domanda era riferita al fatto su come fosse possibile poter far avviare la macchina senza scheda video senza incorrere nella segnalazione sonora del bios di scheda video mancante.
basta avere un bios "stile server" dove se ne frega e va avanti :D ovviamente a scelta dell'utente, lo stesso sui vari controlli di tastiera/floppy ecc mancanti ;)
Si bisogna impostare il bios in modo che non si blocchi in caso di "errore" (mancanza scheda video, o tastiera o altro)
al boot sbippano un pochino (per la mancanza della scheda video) ma partono senza problemi
Ciao
Ottimo!!
Finalmente il parto ha avuto esito positivo!!!
Complimenti vivissimi anche se un po in ritardo... sto cazzeggiando con un
cluster mail...
cmq mi piacerebbe capire un po meglio la tecnica della root condivisa per gli aggiornamenti.
Me la esplichi ? :sofico:
ciao
toniocartonio
07-07-2006, 18:16
il pargolo si chiama wiglaf (nome scelto dal ricercatore, a mia insaputa :mad: :D :D )
dovrebbe essere qualche dio di qualche mitologia (me lo ha pure spiegato... ma non ci ho badato molto! :D )
mmm... sei sicuro sia un dio? Perché a me pare piú un anagramma esoterico della mia "dea"... infatti se metti a posto le lettere viene fuori "wlafig"... ué... fai presente al tuo ricercatore che si é scordato una A :oink:
Cmq complimenti ;)
The Force
07-07-2006, 18:21
un genio! :D
però magari è una dea vichinga... :mc:
greeneye
07-07-2006, 18:50
Secondo Wikipedia dovrebbe essere un personaggio dello Beowulf
Secondo Wikipedia dovrebbe essere un personaggio dello Beowulf
si centrava beowulf!
Ottimo!!
Finalmente il parto ha avuto esito positivo!!!
si... prima di arrivare a pieno regime ci e' voluto un po di tempo (piu' che altro per questione fondi - ordini - vacanze delle segretarie addette agli ordini ecc.)
Complimenti vivissimi anche se un po in ritardo... sto cazzeggiando con un
cluster mail...
grazie!... e buon divertimento!
cmq mi piacerebbe capire un po meglio la tecnica della root condivisa per gli aggiornamenti.
Me la esplichi ? :sofico:
ciao
la cosa e' fatta alla maniera: "fa schifo e non mi piace - ma funziona!"
supponiamo di parlare di una directory che deve essere unica per ogni macchina (ad esempio /tmp o /usr/spool/PBS)
nella root comune c'e' una directory diversa per ogni macchina (esempio: in /usr/spool mi ritrovo la sottodir nodes che contiene le dir computer1, computer2, computer3 ecc.)
praticamente sui nodi abbiamo modificato lo script di init checkroot, da cui lanciamo degli script che fanno:
montano in ram la directory che deve essere unica per ogni nodo
fanno un link simbolico della directory "giusta":
nel caso di prima:
ln -s /usr/spool/nodes/$HOSTNAME/* /usr/spool/
montando in ram abbiamo anche risolto alcuni inconvenienti che aveva torque nel killare i processi (praticamente se il tutto era montato in nfs rimaneva un processo di torque ad occupare il 100% del processore... ma questa e' un'altra storia)
spero di essermi spiegato decentemente! :D
comunque nel montarlo siamo imbattuti in parecchi casini che con macchine fatte apposta per fare da server probabilmente non si sarebbero verificati (il piu' strambo di tutti, di cui abbiamo trovato la soluzione in un unico post sul sito dell'asus, e' che alcune macchine non bootano da rete se non c'e' un mouse attaccato :eek: :eek: ... non sai quanto tempo ci abbiamo perso! )
Ciao!
i complimenti :D
Sol oper curiosita', avete vagliato altri tipi di fs con supporto specifico per cluster? hai dato un occhio a ocfs che dovrebbe essere nel kernel.
Cmq ancora complimenti per il lavoro.
Reiser Darkside
02-08-2006, 22:10
domanda da profano, non mi picchiate
ma su questi sistemi di calcolo parallelo girano esclusivamente programmi scritti appositamente per questo tipo di calcolo?
esempio stupido, potresti chessò, "rippare un dvd" a rempo di record sfruttando l'intera potenza di calcolo del cluster?
necessiteresti per forza di un programma di calcolo parallelo o è il sistema operativo che si occupa della distribuzione totale del lavoro?
domanda da profano, non mi picchiate
ma su questi sistemi di calcolo parallelo girano esclusivamente programmi scritti appositamente per questo tipo di calcolo?
esempio stupido, potresti chessò, "rippare un dvd" a rempo di record sfruttando l'intera potenza di calcolo del cluster?
necessiteresti per forza di un programma di calcolo parallelo o è il sistema operativo che si occupa della distribuzione totale del lavoro?
questo tipo di cluster necessita per forza di programmi scritti apposta (usando le librerie MPI)... il frontend del cluster gestisce solamente le code dei programmi che devono girare, e le fa andare sui nodi (non e' proprio cosi' semplice, ma diciamo che rende l'idea).
comunque credo che dvdrip per linux possa pure rippare su un cluster... e pure cinelerra (per montaggi video) funziona sui cluster...
Ciao!
complimenti per il cluster, veramente fatto bene...magari averne uno a scuola da me :D
scorpion89
03-08-2006, 09:36
Complimentoni!!!
Bellino davvero :D
Reiser Darkside
04-08-2006, 02:17
Scusa se mi reintrometto, ma l'argomento è molto interessante.
Avresti un paio di link a siti con risorse/programmi per calcolo parallelo? Volevo farmi un'idea dei possibili utilizzi di un'eventuale macchina di questo tipo.
redcloud
04-08-2006, 13:25
:eek: :eek: :eek: io ci metterei su boinc :sofico:
Scusa se mi reintrometto, ma l'argomento è molto interessante.
Avresti un paio di link a siti con risorse/programmi per calcolo parallelo? Volevo farmi un'idea dei possibili utilizzi di un'eventuale macchina di questo tipo.
scusate se rispondo tardi... ma ero in ferie e mi sono disintossicato da internet e pc!
cosa vorresti sapere di preciso? che programmi ci girano o con che librerie si usa il cluster o altro?
Reiser Darkside
10-08-2006, 18:29
No, semplciemente quache link a programmi scritti per poter girare su quella struttura.
Grazie per le risposte!!!
No, semplciemente quache link a programmi scritti per poter girare su quella struttura.
Grazie per le risposte!!!
i programmi il piu' delle volte sono in fortran e in c e servono perfar calcoli di dinamica molecolare... (e nel 90% dei casi i fisici sono pessimi programmatori e scrivono delle cose assurde... gente che scrive codice C di migliaia di righe e non sa nemmeno cosa sia un puntatore :doh: )
la cosa importante e' che per funzionare in modo parallelo si appoggiano sulle librerie mpi...
Reiser Darkside
11-08-2006, 01:05
Sì questo l'ho capito benissimo, la mia domanda però era al lato molto motlo più pratico.
Hai un link o sito di riferimento con software adatti ad essere eseguiti in parallelo?
Chesso, una specie di sito dedicato al calcolo parallelo e software per ogni utilizzo, appunto dal rippare un divx, elaborare immagini, etc...
Così mi posso fare un'idea delle possibili applicazioni "pronte" che potrebbero essere utilizzate su una macchina del genere..
...
questo e' il piccolo cluster (a basso budget) messo in piedi per calcoli scientifici
...
Direi che per la spesa fatta il sistema e' una vera bomba... ed e' decisamente divertente smanettare su queste cose!
Ciao!
Complimenti vivissimi.
Mi ricordo quando avevi aperto una discussione proprio in vista della realizzazione di questo cluster.
Tienici sempre aggiornati.
E' MOLTO interessante.
Ciao
Federico
apparte le mobo, il resto è ottimissimo :sofico:
perchè non fare oc?
suppaman
11-08-2006, 13:41
tempo libero? :D
# showq
ACTIVE JOBS--------------------
JOBNAME USERNAME STATE PROC REMAINING STARTTIME
4493 sega Running 1 3:06:54 Thu Jul 6 13:10:51
4485 gandolfi Running 8 22:42:26 Thu Jul 6 09:46:23
4499 gio Running 1 3:22:28:13 Thu Jul 6 13:32:10
4503 operetto Running 10 4:02:41:27 Thu Jul 6 17:45:24
4310 astra Running 1 6:17:01:47 Thu Jun 29 12:05:44
4311 astra Running 1 13:13:01:52 Thu Jun 29 12:05:49
4312 astra Running 1 13:13:09:26 Thu Jun 29 12:13:23
4313 astra Running 1 13:13:10:15 Thu Jun 29 12:14:12
4507 gio Running 6 20:18:50:11 Thu Jul 6 17:54:08
4510 gio Running 4 20:18:52:42 Thu Jul 6 17:56:39
4407 pal Running 2 23:15:24:59 Fri Jun 30 10:28:56
4409 pal Running 2 23:15:26:16 Fri Jun 30 10:30:13
4408 pal Running 2 23:15:33:45 Fri Jun 30 10:37:42
4410 pal Running 2 23:15:38:07 Fri Jun 30 10:42:04
14 Active Jobs 42 of 42 Processors Active (100.00%)
21 of 21 Nodes Active (100.00%)
Ma "sega" è lo user o il jobname ? (battutaccia)
Cmq è quella che finisce prima :D
Ovviamente abbiamo messo in piedi il cluster, non per sfizio mio, ma per essere usato dai vari ricercatori...
Hai provato a valutarne le prestazioni complessive con Linpack?
E, in base alle ricerche che ci fate girare, quale è numero massimo teorico di nodi che assicurano un aumento computazionale, in parole povere, quale è il massimo numero di nodi che secondo la legge di Amdhal dovrebbe garantire un incremento alle vostre applicazioni?
Ciao
Federico
Hai provato a valutarne le prestazioni complessive con Linpack?
E, in base alle ricerche che ci fate girare, quale è numero massimo teorico di nodi che assicurano un aumento computazionale, in parole povere, quale è il massimo numero di nodi che secondo la legge di Amdhal dovrebbe garantire un incremento alle vostre applicazioni?
Ciao
Federico
le prestazioni complessive non le abbiamo ancora provate... ma forse a settembre (con l'aggiunta di altri 5 nodi) ho una settimana per benchmarkare
per i nodi, non e' un problema, visto che c'e' parecchia gente che li usa anche singolarmente, e invece per chi li usa in parallelo, cambia tantissimo da programma a programma (uno e' riuscito a far girare il suo programma su un "simil cluster" cablato a 100Mbit di 100 macchine senza problemi di sorta, altri invece quando usano sopra gli 8 nodi mettono in ginocchio le gigabit.. e soldi per passare alle mirinet non ci sono :p )quindi una risposta precisa e' impossibile...
le prestazioni complessive non le abbiamo ancora provate... ma forse a settembre (con l'aggiunta di altri 5 nodi) ho una settimana per benchmarkare
Tienici informati
:)
per i nodi, non e' un problema, visto che c'e' parecchia gente che li usa anche singolarmente, e invece per chi li usa in parallelo, cambia tantissimo da programma a programma (uno e' riuscito a far girare il suo programma su un "simil cluster" cablato a 100Mbit di 100 macchine senza problemi di sorta, altri invece quando usano sopra gli 8 nodi mettono in ginocchio le gigabit.. e soldi per passare alle mirinet non ci sono :p )quindi una risposta precisa e' impossibile...
Ho capito, avete diverse applicazioni che scalano diversamente all'aumentare dei nodi, e come vedo ne avete parecchi di jobs lunghi in esecuzione, tali comunque da impegnare l'intero cluster per giorni e giorni.
Ciao
Federico
Ho capito, avete diverse applicazioni che scalano diversamente all'aumentare dei nodi, e come vedo ne avete parecchi di jobs lunghi in esecuzione, tali comunque da impegnare l'intero cluster per giorni e giorni.
Ciao
Federico
si... difficilmente ci sono piu' di 5 o 6 nodi liberi (un paio sono riservati per alcuni utenti, e un altro paio per le applicazioni interattive) e questo periodo e' uno di "stanca"....
Permettimi un up....
Ho visto che hai risposto alle richieste di cosa sia Rockscluster, per cui mi è venuta la curiosità di sapere i nuovi sviluppi del tuo interessante cluster.
:)
Ciao
Federico
tomsmile
22-05-2008, 10:43
Permettimi un up....
Ho visto che hai risposto alle richieste di cosa sia Rockscluster, per cui mi è venuta la curiosità di sapere i nuovi sviluppi del tuo interessante cluster.
:)
Ciao
Federico
Oltre a quotare a distanza di due anni... dato che ci sono tanti esperti/appassionati, volevo chiedervi se sapreste indicarmi da dove cominciare per fare qualcosa in casa e se qualcuno lo ha gia fatto? :D
Chi crede che fare il sistemista sia un lavoro sedentario e' meglio che si ricreda...
oggi abbiamo risistemato la sala server, e installato gli ultimi pezzi del cluster...
dopo 11 ore di lavoro sono morto non ce la faccio piu'... pero' il tutto sembra venire bene!:
per entrare in sala devo usare il dito :D
http://img14.imageshack.us/img14/3791/entrata.th.jpg (http://img14.imageshack.us/i/entrata.jpg/)
la parte di frontend (2 server) con un po di storage (un paio di md3000 e un paio di md1000)
http://img33.imageshack.us/img33/383/frontendt.th.jpg (http://img33.imageshack.us/i/frontendt.jpg/)
una parte delle blade di calcolo:
http://img697.imageshack.us/img697/1323/bladedcq.th.jpg (http://img697.imageshack.us/i/bladedcq.jpg/)
sono 3 cestelli con 16 blade half size ognuno (dual xeon quad core, da 16Gb di ram a 48Gb di ram) e un cestello con delle full size (dual xeon quad core con 72Gb di ram), abbiamo anche un altro cestello ma non c'e' la foto perche' per adesso e' mezzo vuoto e non e' cosi bello :D
qui lo storage:
senza frontalini:
http://img94.imageshack.us/img94/575/storagewr.th.jpg (http://img94.imageshack.us/i/storagewr.jpg/)
e con i frontalini:
http://img682.imageshack.us/img682/3356/storage2.th.jpg (http://img682.imageshack.us/i/storage2.jpg/)
sono tutti equallogic: un ps4000, 2 ps5000, 2 ps 6000 e 2 ps6510
i ps 4000 5000 e 6000 contengono ognuno 16 dischi sata da 1Tb, invece i ps6510 contengono 48 dischi ognuno da 2Tb!!! :D :D
una visione della parte frontale della sala server:
http://img24.imageshack.us/img24/669/salaserver.th.jpg (http://img24.imageshack.us/i/salaserver.jpg/)
saro' distrutto... pero' vedere tutto questo mi da soddisfazione (e sinceramente mi diverto un mondo a fare il mio lavoro!)
tavolone
25-06-2010, 14:33
Mammamia, quanta roba!!! :)
Io sono davvero un ignorante in queste cose, però l'informatica è sempre stata una passione per me, e quindi capisco la soddisfazione che si può provare nel realizzare una opera come questa o quella del primo post. Complimenti, magari fossi capace di capirci qualcosa. :stordita:
Chi crede che fare il sistemista sia un lavoro sedentario e' meglio che si ricreda...
oggi abbiamo risistemato la sala server, e installato gli ultimi pezzi del cluster...
dopo 11 ore di lavoro sono morto non ce la faccio piu'... pero' il tutto sembra venire bene!:
Ciao Hex, innanzi tutto complimenti vivissimi per la tua nuova creatura!!!!
....
la parte di frontend (2 server) con un po di storage (un paio di md3000 e un paio di md1000)
http://img33.imageshack.us/img33/383/frontendt.th.jpg (http://img33.imageshack.us/i/frontendt.jpg/)
Se puoi rispondere: ci potresti illustrare la struttura generale del cluster?
Immagino sia anche questo un cluster di paradigma beowulf, se così fosse, hai utilizzato una distribuzione commerciale oppure te la sei preparata ad hoc?
una parte delle blade di calcolo:
http://img697.imageshack.us/img697/1323/bladedcq.th.jpg (http://img697.imageshack.us/i/bladedcq.jpg/)
sono 3 cestelli con 16 blade half size ognuno (dual xeon quad core, da 16Gb di ram a 48Gb di ram) e un cestello con delle full size (dual xeon quad core con 72Gb di ram), abbiamo anche un altro cestello ma non c'e' la foto perche' per adesso e' mezzo vuoto e non e' cosi bello :D
Altra domanda: cosa utilizzi quale interconnessione primaria fra i nodi: Gigabit Ethernet, 10Gigabit Ethernet oppure Infiniband?
Hanno HDD propri oppure, come avevi già fatto nel cluster precedente, montano la loro root da remoto?
qui lo storage:
senza frontalini:
http://img94.imageshack.us/img94/575/storagewr.th.jpg (http://img94.imageshack.us/i/storagewr.jpg/)
e con i frontalini:
http://img682.imageshack.us/img682/3356/storage2.th.jpg (http://img682.imageshack.us/i/storage2.jpg/)
sono tutti equallogic: un ps4000, 2 ps5000, 2 ps 6000 e 2 ps6510
i ps 4000 5000 e 6000 contengono ognuno 16 dischi sata da 1Tb, invece i ps6510 contengono 48 dischi ognuno da 2Tb!!! :D :D
Tutto storage iSCSI alto di gamma, se non sbaglio.
Come lo utilizzi? Perchè i frontend hanno invece storage locale su SAS expander?
saro' distrutto... pero' vedere tutto questo mi da soddisfazione (e sinceramente mi diverto un mondo a fare il mio lavoro!)
Ti credo. :)
Ciao
Federico
Certo che 11 ore in quelle stanze micidiali devono essere state una vera tortura. Non so cosa sia peggio. Il frastuono delle mille ventole dei server, la temperatura polare o l'umidità zero che ti secca la gola dopo 20 secondi.
In ogni caso complimenti per le macchine. Abbiamo anche noi tre armadi ma non c'è tutta quella roba dentro :D
Ciao Hex, innanzi tutto complimenti vivissimi per la tua nuova creatura!!!!
questo giro sono solo l'ultima ruota del carro, sono 2 miei colleghi che hanno messo in piedi il tutto... ma in questi giorni per questioni riorganizzative e nuovi arrivi hardware abbiamo dovuto "smontare" tutto e rimettere assieme.
Se puoi rispondere: ci potresti illustrare la struttura generale del cluster?
Immagino sia anche questo un cluster di paradigma beowulf, se così fosse, hai utilizzato una distribuzione commerciale oppure te la sei preparata ad hoc?
la distribuzione e' una scientific linux (praticamente una redhat)
Altra domanda: cosa utilizzi quale interconnessione primaria fra i nodi: Gigabit Ethernet, 10Gigabit Ethernet oppure Infiniband?
Hanno HDD propri oppure, come avevi già fatto nel cluster precedente, montano la loro root da remoto?
i nodi sono interconnessi con 2 gigabit (ma per il futuro si parla anche di infiniband), hanno la distribuzione installata in locale (installare un nuovo nodo con cobbler prende circa 5 minuti di tempo senza nessuna interazione da parte nostra, a parte inserire i mac address delle 2 interfacce di rete :) )
Tutto storage iSCSI alto di gamma, se non sbaglio.
Come lo utilizzi? Perchè i frontend hanno invece storage locale su SAS expander?
i 2 frontend montano via iscsi tutti i volumi degli equallogic e li esportano verso i nodi via nfs (con una 10Gbit a testa)... e hanno storage locale per ragioni storiche (ma andranno a sparire sostituiti dagli EQL), 2 blade poi diventeranno login server e submit node una e l'altra ospitera' il sistema di code vero e prorpio (Sun Grid Engine)... in futuro l'idea e' quella di integrare qualcosa come eucalyptus per far girare sul cluster anche macchine virtuali intere
Certo che 11 ore in quelle stanze micidiali devono essere state una vera tortura. Non so cosa sia peggio. Il frastuono delle mille ventole dei server, la temperatura polare o l'umidità zero che ti secca la gola dopo 20 secondi.
in effetti se in questi 2 giorni non abbiamo preso una broncopolmonite a forza di andare avanti e indietro mi sa che non la prenderemo mai!... in compenso anche adesso ho le orecchie che fischiano :D
In ogni caso complimenti per le macchine. Abbiamo anche noi tre armadi ma non c'è tutta quella roba dentro :D
gli armadi a dire la verita' sono 14 :D quelli fotografati sono quelli dedicati al cluster di calcolo... ce ne sono ancora di vuoti ovviamente (la sala e' stata fatta un anno fa e dimensionata "in crescita") ma abbiamo parecchia altra roba...
gli armadi a dire la verita' sono 14 :D quelli fotografati sono quelli dedicati al cluster di calcolo... ce ne sono ancora di vuoti ovviamente (la sala e' stata fatta un anno fa e dimensionata "in crescita") ma abbiamo parecchia altra roba...
14... :eek:
questo giro sono solo l'ultima ruota del carro, sono 2 miei colleghi che hanno messo in piedi il tutto... ma in questi giorni per questioni riorganizzative e nuovi arrivi hardware abbiamo dovuto "smontare" tutto e rimettere assieme.
:mc:
Si, va bene, ora cerchi di sminuire il tuo lavoro, ma non ci inganni.
ANCORA COMPLIMENTI.
la distribuzione e' una scientific linux (praticamente una redhat)
Quella del CERN, vero?
i nodi sono interconnessi con 2 gigabit (ma per il futuro si parla anche di infiniband), hanno la distribuzione installata in locale (installare un nuovo nodo con cobbler prende circa 5 minuti di tempo senza nessuna interazione da parte nostra, a parte inserire i mac address delle 2 interfacce di rete :) )
Non lo conosco, anni fa avevo provato OSCAR.
i 2 frontend montano via iscsi tutti i volumi degli equallogic e li esportano verso i nodi via nfs (con una 10Gbit a testa)... e hanno storage locale per ragioni storiche (ma andranno a sparire sostituiti dagli EQL), 2 blade poi diventeranno login server e submit node una e l'altra ospitera' il sistema di code vero e prorpio (Sun Grid Engine)... in futuro l'idea e' quella di integrare qualcosa come eucalyptus per far girare sul cluster anche macchine virtuali intere
Perdona la mia ignoranza, ma non so cosa sia Eucalyptus.
Una ulteriore domanda, se non disturbo: la 10g Ethernet è in rame o in fibra? Quali connettori utilizzate?
Ciao
Federico
:mc:
Si, va bene, ora cerchi di sminuire il tuo lavoro, ma non ci inganni.
ANCORA COMPLIMENTI.
:)
Quella del CERN, vero?
si esatto
Non lo conosco, anni fa avevo provato OSCAR.
che non conosco io... abbiamo deciso solo un paio di settimane fa di restare sull'installazione locale (fatta appunto con cobbler via rete) rispetto al boot diretto da rete... ma ancora adesso stiamo valutando pro/contro
Perdona la mia ignoranza, ma non so cosa sia Eucalyptus.
http://open.eucalyptus.com/
Una ulteriore domanda, se non disturbo: la 10g Ethernet è in rame o in fibra? Quali connettori utilizzate?
la 10 e' in fibra (per far andare a 10Gb i collegamenti in rame, rischi di consumare di piu' per la trasmissione dati che per far andare i server :D )
usiamo degli LC (schede pci express con sfp http://en.wikipedia.org/wiki/Small_form-factor_pluggable_transceiver e ci attacchi una fibra LC http://en.wikipedia.org/wiki/Optical_fiber_connector ) anche se i rack sono cablati con degli SC
Ciao
Grazie delle spiegazioni.
:)
E buon LAVORO!!!!
Ciao
Federico
Chissà se riesce a far girare Crysis ... ;)
[Occhio che finisci come in Minority Report: ti tagliano il dito per entrare].
:mano:
AnonimoVeneziano
26-06-2010, 10:35
Perchè tra le "immagini correlate" delle foto in prima pagina c'è una tipa in perizoma che si gratta la patata? :asd:
Perchè tra le "immagini correlate" delle foto in prima pagina c'è una tipa in perizoma che si gratta la patata? :asd:
Servizio di sorveglianza? :D
AnonimoVeneziano
26-06-2010, 14:45
Servizio di sorveglianza? :D
Quasi quasi faccio un erasmus in trentino :asd:
vBulletin® v3.6.4, Copyright ©2000-2025, Jelsoft Enterprises Ltd.