OpenMosix Minipaper 0.2 per il LinuxDay 2002: v0.2

[Uzi[WNCT]]

uhmmm...... azzz...... peccato! Difatti ho ben visto che nn è una cosa che si fa.. lo farebbero tutti.

Ma di preciso mosix riesce a migrare "solo" processi quindi???

[alexmaz]

per ora si... i thread sono "oggetti" un po' critici in quanto quelli di uno stesso processo condividono spazio di indirizzamento, descrittori dei file, ecc... poi l'implementazione di linux è piuttosto particolare e non c'è modo di riferirsi ad un singolo thread di un processo, dato che il processo in se non esiste (o quasi) ma è solo identificato da 1 o + thread che condividono lo spazio di indirizzamento.

[Uzi[WNCT]]

capito...... ma allora, nn è che un cluster aumenti la potenza di calcolo (come avevo capito io alla buona), ma rende + "omogenea" la potenza. In pratica si riesce ad eseguire i programmi su tutti i PC evitando il "collassamento" di uno solo.

Diciamo che si riesce a creare un multitasking fenomenale, indipendente dall' HW sul quale sono davanti fisicamente....

[alexmaz]

beh il cluster viene visto come una macchina sola... in definitiva viene fuori una grossa macchina multiprocessore, a patto di creare software multiprocesso e non multithread...

[Uzi[WNCT]]

già.. ma bisogna scriverlo ex-novo mi sa..... di già esistente si trova più che altro multithread


(cmq interessantissima sta roba... maròòòòòòòò!!! Metto su un cluster fra portatile scarsissimo e pc + prossimo muletto )

[rejected]

Sono strastanco,ma piacevolmente soddisfatto...

Ho visto cose che voi umani...

Dual opteron con 1 GB di DDR con UnitedLinux... Che storia....

Tornando alle cose serie:

Rispondo a Uzi[WNCT]:
Un cluster è un insieme di macchine che lavorano insieme per risolvere problemi che richiedono enormi risorse.

Allo stato attuale OpenMosix può migrare (=distribuire il lavoro sui vari nodi) solo processi.

Tuttavia programmi di rendering come Povray, nella versione PVM/MPICH ( librerie per il calcolo parallelo) sfruttano Openmosix e le prestazioni sono davvero interessanti...

Tuttavia oggi, Moshe Bar (l'autore di Openmosix), al Workshop ha detto che entro il prox anno anche thread, short job,... migreranno (ha detto che ha già un prototipoin laboratorio funzionante che rilascerà entro 5-6 mesi).

Ciò significa che tutti i problemi di distribuzione con Opemosix cadranno... (o almeno si spera...)

Se ti va, dai un occhio al mio sito.
E' più in basso, nella "signature".


Vo a riposare...
Poi nei prox giorni posterò tutto x benino...


Per Alexmaz: mi spiace che tu non ce l'abbia fatta a venire. E' stata un gran bell'evento... Cmq non disperare: ne faranno dgeli altri...

Per Flisi: sono distrutto. Tu sei ancora in piedi?
Mi ha fermato un altro tizio a chiedermi di Java...

<rejected>

[flisi71]

Ciao rejected, meno male che sei distrutto, ma appena tornato a casa ti metti subito a postare?
Scommetto lo fai per far morire di invidia alexmaz?

A me è piaciuto molto, tutti interventi molto interessanti; Moshe Bar estremamente gentile e disponibile con tutti. Davvero un grande!!

Poi c'era anche Neo, al quale abbiamo chiesto quando esce il seguito di Matrix!

A me ha impressionato anche l'intervento di Arcangeli sulle nuove features del kernel Linux.

E poi ciliegina sulla torta il server Dual Opteron su rack 1U, con 2 CPU a 1,4 GHz e 4 GB RAM.

Tutto davvero interessante.

x alexmaz e Uzi[WNCT]: come vi ha già detto rejected, Moshe Bar ci ha confermato che entro breve uscirà una versione di OpenMosix con il supporto della memoria condivisa, già adesso funziona nel suo laboratorio e fa migrare in modo trasparente istanze Oracle, che attualmente sono prese come esempio di processi che NON migrano affatto. Ci sono però degli inconvenienti, quali l'alto costo della migrazione da un nodo all'altro e sopratutto la bandwith necessaria per mantenere la coerenza delle pagine di memoria su tutti i nodi.
Ma sta studiando nuovi algoritmi che dovrebbero ridurne il costo computazionale.
Quindi il futuro si annuncia roseo.

P.S. prima del suo intervento rejected era nervosissimo, perchè a tutti gli altri Moshe Bar e/o Arcangeli avevano fatto delle domande, e aveva paura che ne facessero anche a lui e che non fosse in grado di rispondere; INVECE il suo intervento è stato brillante e spigliato, e ha risposto con prontezza alle domande che gli hanno rivolto. BRAVO!

x rejected: salutami anche la tua morosa, davvero carina e acuta!!!!

Ciao

Federico

[Uzi[WNCT]]

figatissima..... se sta roba va in porto ...... cambia il modo di usare i PC... slurp!

Cmq a me (come già detto) pare "impossibile" che si possa far migrare i thread. E' proprio la larghezza di banda necessaria e pure il "ping". A questi livelli (e con processori moderni, diciamo da almeno 2 ghz) mi pare impossibile che una rete convenzionale (anche ad un gigabit) riesca a traferire una mole di dati tale, in pochissimo tempo.

Cmq resto fiducioso.... se il tipo ha detto che funziona...... SLURRRPPP!!!!!

[rejected]

Per Flisi.

La girl ricambia il saluto: gli stai simpatico... Sono geloso!

Quanto al resto, dopo aver guidato per 450KM e aver parlato al Workshop, sono rimasto in piedi fino all'1....

Si vede che sono un informatico...
Stakanovista x natura...


Per todos.

Mi raccomando se siete interessati a OpenMosix, iscrivetevi alla mailing di democritos (www.democritos.it -> mailing list -> openmosix).

Qui dovrebbero riunirsi tutti gli utenti interessati... Ogni tanto, forse, farà capolino anche Moshe Bar...

Matrix era un grande (come tutti gli altri)...

<rejected>

[rejected]

Salve a todos

Ieri notte (intorno alle 2) sono riuscito finalmente a far funzionare una versione user-space dei PThread su Openmosix (libreria multipiattaforma FSU-Pthread di Frank Mueller).

Una applicazione multithread è stata migrata con tutti i suoi thread da un
nodo all'altro senza toccare una sola riga di codice.

Il programma che ho usato (il mio solito ptDiv.c) ha una variabile condivisa fra i vari thread
(protetta da mutex).

>> E' stato possibile migrare l'applicazione intera con i suoi pthread
"appesi", non i singoli thread! <<

Ciò non toglie che la cosa, seppur limitata, mi sia particolarmente
gradita...

Per maggiori spiegazioni, date un'occhiata a
http://filibusta.crema.unimi.it/mosi..._openmosix.htm

In questo momento sto facendo i benchmark: appena disponibili li pubblicherò
sul sito (i test preliminari sono molto interessanti,IMHO).

Fatemi sapere che ne pensate.

<rejected>

[flisi71]

Ciao rejected,

come stai?

Ti leggo solo adesso, e corro subito a dare una occhiata e ad iscrivermi.


Ciao

Federico

[rejected]

Ciao Flisi.

Direi che sto bene...
Mi sono ripreso e mi sono subito rimesso a smanettare su Openmosix...

Come sta la girl? Spero bene!


Tra l'altro ho avuto conferma che (finalmente) in Uni avremo un cluster Openmosix/Beowulf _serio_ (3 dual Athlon MP 1900+ e 3 Athlon 1 Ghz).

Io ed un mio amico (che farà la tesi proprio su questo progetto) stiamo progettando il tutto per il nostro professore di Fisica.

Fin da adesso posso confermare che Openmosix può solo migliorare (o,al peggio, uguagliare) le prestazioni di Beowulf/MPI...

Inoltre, di notte, sto testando le varie librerie in user-space su OM...

Pensa che c'è un mio amico che vorrebbe provare a distribuire Maya+client su OM...

Ciao.

<rejected>

[flisi71]

Ciao rejected, come stai?

Sono contento per te che in Uni ti installino un bel cluster dedicato per sperimentare; magari l'avessi io!!!


Io mi diletto con OpenMosix e in effetti ho interessi nel campo grafico, dove con PovRay avevo visto che impostando un batch di immagini statiche da renderizzare, queste venivano facilmente distribuite nel cluster, ma non ho mai provato con Maya perchè...non so usarlo!
Certo che per fare delle prove mi basterebbe utilizzare i file di esempio e tutorial inclusi!
Quasi quasi ci provo uno di questi giorni.


Ciao

Federico

[Uzi[WNCT]]

Per linux c'è pure XSI.....
Difatti a me interessava molto sto thread proprio per cercare di diminuire i tempi di render...



(cmq è un casino lo stesso, e richiede una risoluzione del desktop a 1280x1024 )

[flisi71]

Si l'ho intercettato, ma non l'ho installato perchè non mi riesce, mi manca qualcosa.

Ciao

Federico

[rejected]

....è che non diffondono i codici sorgenti...

Scherzi a parte, XSI ha dei client-slave cui delegare parte del rendering?

Non ho XSI per Linux e non posso provare. Sorry...

Cmq mi informo (conosco chi può darmi informazioni in questo senso): se scopro qualcosa, posto subito...


Per Flisi.
La girl ringrazia x i complimenti e ti saluta...

Capisco la tua situazione in campo lavorativo: parlare con i profani in campo informatico spesso è frustrante... Non è questione di superiorità tecnica/mentale/culturale/...: semplicemente ci sono persone che non sanno e non volgliono imparare alcunchè perchè "tanto c'è il tecnico che risolve tutto: è pagato proprio per questo!". E spesso a tutto ciò si aggiunge una certa aria di arroganza da parte dei "clienti/utenti"...

Byez.

<rejected>

[Uzi[WNCT]]

uhmmm,...... ammetto che l'ho provato per 30 minuti e basta...
Anche perchè richiede per forza la risoluzione di 1280x1024 e al mio monitor nn va molto bene

Cmq c'era un "client" ed un "server"..... resta il fatto che davvero nn ho provato. Inoltre (cosa importantissima) io avevo la versione per Windows, quindi nn so di preciso che cosa ci sia nella versione per Linux...

Al 90% ci sarà un "client" per delegare il render su altre macchine, ma credo sia sempre per una animazione e nn per il singolo frame.

Devo ammettere che nn sono informatissimo su XSI, dato che principalmente mi diletto con LightWave e quest ultimo è solo per Win...

Se volete vedere che ci fo con LW, andate a fare un salto nella sezione "computer grafica"

[alexmaz]

Ciao ragazzi, mi spaice parecchio di non essere venuto a Bologna, ma purtroppo non ce la facevo proprio

parlando di openMosix ho notato una cosa: io lo uso anche sul pc che utlizzo e mi pare di aver notato un forte peggioramento delle prestazioni di I/O sul filesystm (ext3) sia con un normale tar che con samba... per esempio mentre scompattava i sorgenti di Mozilla 1.2.1 il pc era semi paralizzato, cosa mai successa prima... qualcuno conferma?

ciao

[AnonimoVeneziano]

Raga, ce la fate a spiegarmi meglio sta storia del mosix? Cioè , vorrei provare a mosixare (openmosixare ) 2 Computer (o forse 3) che ho qua in casa, 1 PIII 1000 (e forse un 600) e un Athlon 2400+, si può? In cosa avrei miglioramenti, calcolo distribuito?

Grazie

Ciao

[rejected]

Ciao, AnonimoVeneziano.

Dunque dunque...

Openmosix è un cluster ad alte prestazioni che si integra nel kernel di Linux (è una patch di poco più di 100k righe di codice).
Oltre alla patch sono disponibili una serie di utility (i più importanti e migliori sono gli userland tools e Openmosixview) per amministrare il cluster.

Come ben saprai ogni programma in esecuzione è un processo, ossia un contesto di esecuzione: parte di un processo è in kernel space (ossia utilizza chiamate di sistema o cmq istruzioni privilegiate) e parte è in user-space (ossia sfrutta istruzioni non privilegaite e quindi, teoricamente, non _totalmente_ vincolate al sistema su ciui il programma è in esecuzione).

Orbene, Openmosix è in grado di distribuire (si parla tecnicamentedi "migrazione" dei processi) la parte di un processo in user-space da una macchina (nodo) del cluster ad un'altra.

Perchè fare ciò?
Semplice! Se una macchina è sovraccaricata il fatto di spostare (distribuire) il calcolo su altre macchine è una cosa intelligente e se è opportunamente gestita (come nel caso di Openmosix) è molto efficiente.

A differenza di altre soluzioni di clustering, Openmosix:
- è in grado di bilanciare il carico dinamicamente e autonomamente: ciò significa che se un nodo è carico e OM vede che c'è un altro nodo meno occupato (o addirittura nullafacente, idle) sposta da solo il lavoro su quest'ultimo nodo. Tutto ciò in maniera traspararente all'applicazione e anche all'utente (in ogni caso l'utente può intervenire manualmente e decidere come più gli aggrada). Tutto ciò viene fatto attraverso algoritmi trattai dal campo economico (leggi della domanda e dell'offerta,...).
- è facilissimo da installare e amministrare è un gioco da ragazzi
- è opensource e puoi giocare col codice...
- gestisce nodi in maniera hotswap: puoi inserire e rimuovere i nodi mentre gli altri sono in esecuzione.
- i nodi possono essere macchine anche totalmente diverse (io ho, per esempio, un cluster con un PIII e un AthlonXP)
- scala in maniera egregia (ossia più nodi metti, più le prestazioni aumentano).
- ...

Nota bene che Openmosix è un fork (ossia un progetto derivante,ma ora distinto) da Mosix.
Mosix un anno fa era ancora opensource, poi ha cambiato licenza ed è quindi sorto un nuovo progetto, Opensmoxi appunto, che intende continuare lo sviluppo, opensource, del progetto.
Per la cronaca: Mosix è un progetto nato negli anni '70 e prima di Linux è giunto su BSD.


Attualmente Openmosix non può:
- migrare singoli thread da un nodo ad un altro (questa fetaure è attesa per il 2003).
- migrare processi che condividono memoria (shared memorory): anche questa feature è attesa per il 2003.
- quanto alla migrazione di programmi multithread (come se fossero un unico processo), sono riuscito a migrarne una. Ma se usi le librerie di thread di default di Linux (i famosi PThread/LInuxThreads) la cosa non funziona...

In ogni caso, se sei ineterssato, ti consiglio il sito ufficiale:
openmosix.sourceforge.net

Se ti va di dare un'occhiata al mio sito (in italiano), l'indirzzo è nella mia firma, qui sotto. Fine messaggio pubblicitario...

Spero di essere stato abbastanza chiaro e non averti confuso...
Tieni conto che OM è un progetto maturo e sicuramente questa breve panoramica/introduzione che ti ho fatto è riduttiva e incompleta.

Ciao a tutti.

<rejected>

PS: per tutti. Se lanciate due ripping/encoding distinti con mencoder, Openmosix parrebbe muoversi...

PS2: se vi interessa iscrivitevi senza timore esiste alla mailing list ufficiale italiana di opensmosix. La pagina è:
http://www.democritos.it/mailman/listinfo/openMosix