[RocksCluster]ma che e`???

[NA01]

c'e` la distinta possibilita` che presto avro` da mettere le mani su un cluster su cui vogliono mettere tale rocks...
le informazioni sono un po` scarse, ma con un po` di spirito di intuizione google mi ha risposto con questo indirizzo http://www.rocksclusters.org/ .
che e`?
a quanto mi dicevano dovrebbe essere una distribuzione di linux basata su fedora, ma qui non nomina ne linux ne fedora...
qualcuno la conosce?

perche` lo si dovrebbe preferire a openmosix??? (che per ora e` l'unico che ho visto girare)


ciao ciao!!!

[Lukepet]

Io devo scrivere un articolo sui ClusterManager.....mi hanno chiesto di ricercare e testare cluster differenti da openMosix.

Mi potreste fornire tutte le info che avete sull'esistenza di cluster alternativi a openMosix???

[NA01]

Kerrighed, OpenSSI poi....
bhoooooo

questo rocks è curioso...
non compare quasi da nessuna parte, e non ho nemmeno capito che diavolo è...
sembra non richiedere patch al kernel (ci butti dentro il config e il tar di un vanilla e lui in qualche modo tira fuori tutto... -.- ).
l'unica cosa è che è davvero semplice da configurare, ha la sua utility rocks-dist che gestisce tutto...
bho, prima o poi mi dovrò preoccupare di vedere che diavolo ho installato

[Lukepet]

Originariamente inviato da NA01

Kerrighed, OpenSSI poi....

conosci anche qualche link utile dove trovare tutorial, guide, manuali e robe varie?

[Lukepet]

Io sono andato sul sito http://www.rocksclusters.org/ ma mi sono un pò perso nei meadri dei vari link.....

Io ho la necessità di realizzare un cluster tra 2 macchine e fare dei test per giudicarne le prestazioni.

E' possibile farlo con Rocks?
Devo aver installata qualche particolare distribuzione per usare Rocks?

Esiste qualche Tutorial For Dummies per capire come utilizzare Rocks?

Insomma datemi le info guida se sapete come fare....Grazie.

[HexDEF6]

Io ho messo su un cluster diskless con 25 nodi.
Il frontend gestisce solamente le code (con maui e torque), gli utenti non hanno accesso diretto ai nodi ma solamente attraverso le code.
I job per girare in parallelo, devono essere scritti in modo adeguato (usando le mpi) (non come openmosix)..

Se vi servono altre info: http://www.hwupgrade.it/forum/showthread.php?t=1235807

o chiedetemi pure...

Ciao!

[Lukepet]

Originariamente inviato da HexDEF6

Io ho messo su un cluster diskless con 25 nodi.
Il frontend gestisce solamente le code (con maui e torque), gli utenti non hanno accesso diretto ai nodi ma solamente attraverso le code.
I job per girare in parallelo, devono essere scritti in modo adeguato (usando le mpi) (non come openmosix)..

Se vi servono altre info: http://www.hwupgrade.it/forum/showthread.php?t=1235807

o chiedetemi pure...

Ciao!

ma l'hai fatto con Rocks o con openMosix???

[HexDEF6]

Originariamente inviato da Lukepet

ma l'hai fatto con Rocks o con openMosix???

come ho scritto nessuno dei due...
io gestisco solamente le code del cluster... il codice deve essere scritto parallelo (usando le mpi)

[flisi71]

Originariamente inviato da Lukepet

conosci anche qualche link utile dove trovare tutorial, guide, manuali e robe varie?

Ciao, come ti ho risposto anche nell'altra discussione, basta che tu parti dalla pagina di download
http://www.rocksclusters.org/wordpress/?page_id=3

e se non sei sicuro di quali cd ti potranno servire, semplicemente scaricati il Jumbo DVD che contiene tutti i pacchetti possibili (è sulla parte dx della tabella di scelta, controlla solo se ti serve la versione i386 o se intendi usare la x86-64 naturalmente se hai l'hw necessario)

Mentre attendi il completamento dell'operazione di download, punti il browser alla documentazione:
http://www.rocksclusters.org/wordpress/?page_id=4

e rivolgi l'attenzione alla esaudiente guida utente
http://www.rocksclusters.org/rocks-documentation/4.2.1/

che potresti anche scaricarti in PDF e stampartela
http://www.rocksclusters.org/rocks-d...uide-4.2.1.pdf

In essa sono illustrati tutti i passi necessari per una prima installazione e configurazione.

Se intendi provare e testare anche gli altri rolls (termine che loro usano per indicare un insieme di pacchetti omogeno) puoi naturalmente seguire anche la guida corrispondente, sempre linkata dalla pagina principale della documentazione
http://www.rocksclusters.org/wordpress/?page_id=4



Ciao

Federico

[NA01]

Originariamente inviato da flisi71

...

scusa, ti rompo le palle che sembri aver già visto questa roba...
abbiamo perso dei giorni interi dietro a un problemuccio che persiste ma che abbiamo risolto con un tapullo (secondo me c'è qualche bug, posterò in giro sulla mailing list...).
ora tutto è configurato, kernel aggiornato (ci serviva qualcosa di più nuovo a causa del chipset ecc ecc...).

verrà utilizzato per roba di machine learnign, con programmi in c e in r (che è un coso interpretato). come va lanciata la robba???
dimmi se sbaglio...
se ho un binario lo metto nelle dir di nfs e lo lancio con mpirun ecc ecc...
giusto?
credo di no...

a quanto ho capito l'uso che va fatto del cluster è di prendere lo stesso programma e lanciarlo su tanti range diversi (manualmente). il cluster dovrebbe solo distribuire i processi su tutte le macchine....
quale delle tante procedure devo usare? direi non quelle con mpi... credo che si faccia con grid engine, ma nello script mi sfugge qualcosa...

grazie, ciao!

[flisi71]

Originariamente inviato da NA01

scusa, ti rompo le palle che sembri aver già visto questa roba...

Non rompi affatto, ma premetto che le mie conoscenze sono limitate e non uso rocks da tempo.

se ho un binario lo metto nelle dir di nfs e lo lancio con mpirun ecc ecc...
giusto?
credo di no...

Le applicazioni compilate con le librerie MPI vanno lanciate esattamente come dici tu, con i vari parametri che indicheranno le istanze parallele da avviare ecc...
Ma chiaramente questo NON deve e NON può essere fatto con binari compilati diversamente, che non possono partire se invocati da mpirun.

a quanto ho capito l'uso che va fatto del cluster è di prendere lo stesso programma e lanciarlo su tanti range diversi (manualmente). il cluster dovrebbe solo distribuire i processi su tutte le macchine....

Si, usando applicazioni compilate con librerie compatibili MPI (e PVM) il cluster si comporta proprio secondo il paradigma Beowulf.
E secondo tale paradigma vi è un nodo unico da cui sono sottomessi tutti i job, mentre tutti gli altri sono solo nodi di calcolo.

quale delle tante procedure devo usare? direi non quelle con mpi...

Se arriva anche HexDEF6 ti saprà aiutare meglio di me, in genere ho curiosato sui cluster stile Beowulf solo per curiosità e sempre usando i tutorial per lanciare istanze mpi di Povray e poco altro.
Per lanciare ogni tipo di applicazione usavo openMosix, fedele al paradigma SSI, dove una applicazione - di qualunque tipo - viene bilanciata sul cluster in modo trasparente per l'utente (a meno che non intervenga a mano per forzare migrazioni manuali e/o modifica del "peso" dei vari nodi ed ingannare il load-balancer).

credo che si faccia con grid engine, ma nello script mi sfugge qualcosa...

Il SGE è un manager di code, per cui lui farà partire qualunque cosa gli viene indicata, che sia una applicazione singola ovvero che sia un mpirun che poi "splitterà" tante istanze parallele.
SGE di per se non se ne cura, offre solo una programmazione dei tempi di esecuzione.


Ciao

Federico

[NA01]

in modo trasparente non sembra farlo...
ho lanciato un bellissimo while(1) in c su tante istanze diverse e sono rimaste tutte sul frontend...

ma magari non si fa cosi`...

io ho compilato e lanciato tante istanze con il classico ./a.out...


ciaaaao!

[flisi71]

Originariamente inviato da NA01

in modo trasparente non sembra farlo...
ho lanciato un bellissimo while(1) in c su tante istanze diverse e sono rimaste tutte sul frontend...
...

Io mi riferivo a openMosix, e noto di aver commesso un errore non indifferente:
il suo load-balancer tenta di bilanciare il carico complessivo fra tutti i nodi del cluster, migrando quei processi che secondo la sua metrica sono più convenienti E NATURALMENTE anche tenendo conto dei vincoli imposti da processi non migrabili.

Ti faccio un esempio personale: usavo un solo nodo openMosix su cui avevo installato i programmi che mi interessavano, e lo affiancavo da vari drone spesso partiti con live-cd appositi quali Clusterix ovvero PlumpOS.
Lanciando una applicazione commerciale composta di vari e tanti processi, questi non migravano affatto ma il load-balancer provvedeva comunque a migrare sugli altri nodi altri processi quali anche una shell e vari moduli di KDE, questo nel tentativo di bilanciare il carico fra tutti i nodi.
Poichè così comunque si riduceva il carico sul nodo principale, ecco che oM aveva migliorato anche tale applicazione (gli lasciava più risorse nel nodo di esecuzione).


Ciao

Federico

[NA01]

ehm...
e io qua su rocks come faccio?
:-D
openmosix lo avevo gia` visto andare, ma qui devo lavorare su sto rocks...

ciao

[flisi71]

Invoca l'aiuto di HexDEF6!
In fin dei conti anche Rocks lavora secondo il paradigma Beowulf.




Ciao

Federico

[NA01]

sono riuscito a lanciare i comandi con mpirun, sembra bilanciarli anche se non sono scritti apposta (nel senso che li migra sui vari nodi)...
bene bene...

ciao!

[HexDEF6]

ti do un consiglio, dai un'occhiata qui:
http://www.clusterresources.com/pages/products.php

e dai un'occhiata a torque e maui

Ciao!