Utility Grid: calcolo "a pagamento" per Sun

[midian]

Originariamente inviato da dins
be credo il concetto sia piu' o meno questo anche se è difficile che il tipo di applicazione sia di questo tipo

vabbe dai era solo un esempio

[efams]

Qualcuno sarebbe cosi gentile da indicarmi un sito o documento in cui si parla sul "grid". Come funziona, realizza ecc... ?

[Ventu]

Originariamente inviato da darkgenio
Maggiori informazioni sulla Grid di cui parli si trovano a questo sito:
http://eu-datagrid.web.cern.ch/eu-datagrid/
In pratica è stato costituito un consorzio pubblico-privato il cui obbiettivo è creare appunto una Grid europea in grado di erogare risorse di calcolo su richiesta degli istituti di ricerca che verranno connessi. Il progetto si sviluppa in parallelo con la costruzione al Cern del nuovo acceleratore di particelle LHC che produrrà una mole di dati di diversi peta byte l'anno. la necessità di ricercare informazioni nella mole di dati prodotti richiederà infatti un potenziale di calcolo enorme.

ciao

L'LHC (Large Heldron Collider ...se non ricordo male) sarà un acceleratore nucleare in grado di produrre una quantità di dati dell'ordine dei 12 -14 PetaBytes (10^15) annui. Dovrebbe entrare in funzione nel 2007 e, a causa della sua "mole" di dati, si è resa necessaria la realizzazione di una struttura cosiddetta "Grid" per elaborarli. I progetti Grid sono, a livello mondiale, poco meno di una ventina, quello "datagrid" citato , asservirà essenzialmente alle richieste del cern per LHC come già detto . In tutto il mondo le persone che lavorano sulla "architettura software" delle varie Girglie (italianizzato) sono un po più di un migliaio. L'idea di base è molto interessante per quello che può offrire. Io, indegnamente, ho la fortuna di avere un'accesso al DataGrid (e quindi di poterlo usare ) e di aver visto la farm di un INFN (istituto Nazionale di Fisica Nucleare) universitario. Vi assicuro che, dentro una stanza 4 x 8 c'era una potenza di calcolo di centinaia di CPU. Tutti rack bi Xenon da 2Ghz e 2G di memoria per ogni singolo rack.
Il discorso del "pay for use" al momento attuale (a parte questo di sun) è molto complicato. La struttura richiede accessi, strutturazione particolari delle richieste ma ha il vantaggio che uno, se vuole, può richiedere SO su cui eseguire il suo lavoro, quantità di CPU, memoria di sistema, ecc. Funziona essenzialemnte cosi: si fa la richiesta per un Job (vengono chiamati cosi), dopo aver sottomesso la richiesta (se non diversamente specificato) il sistema da cui si accede, spedisce una richiesta dei server disponibili e più "scarichi". A quel punto il "job" passa sulla macchina/sistema libero e viene elaborato. Alla fine dell'elaborazione il risultato viene posto in una directory temporana a cui, solo chi ha fatto richiesta, ha accesso. A questo punto si "ritrasferisce" il tutto "a casa" e automaticamente il file temporaneo viene eliminato.
Nei di questo approccio, al momento, ve n'è uno "enorme" secondo me: Io non so' mai se e quando il mio "job" è in esecuzione o è finito, almeno di non interrogare costantemente il CE (si chiamano così "Computing Element" la macchina a cui si accede sottomettendo i Job).
Ora passiamo a quello che invece sono "invitato" a fare. L'università in cui sono ha sviluppato un protocollo che "in teoria" dovrebbe semplificare molto quest'approccio e rendere molto più efficiente la cosa. Questo protocollo si dovrebbe occupare di, sottomesso un "programma", analizzare il suo sorgente, vedere che richieste di HD, ram e cpu ha bisogno in base all'analisi del codice, ed occuparsi dello "smistamento" del codice (anche frazionandolo) alle varie macchine. Il tutto in modo trasparente . Io "dovrei" testare l'efficienza di tale approccio .
Comunque, per chi ne vuole sapere di più (efams) non c'è che l'imbarazzo della scelta: basta digitare GRID su un qualsiasi motore di ricerca e ci si trova "sommersi". Se vuoi sapere di più di quelli universitari basta cercare datamat/datagrid ecc...

L'approccio sembra buono, ma momentaneamente è molto "under construction"...
P.S. In relatà chi ha vogli di "sperimentare" una "griglia" può scaricarsi un toolbox: "Globus" dal sito www.globus.org. Ovviamente, prima di imbattersi in tale "avventura" propongo di leggere...e molto....

[cdimauro]

Originariamente inviato da Ventu
Questo protocollo si dovrebbe occupare di, sottomesso un "programma", analizzare il suo sorgente, vedere che richieste di HD, ram e cpu ha bisogno in base all'analisi del codice, ed occuparsi dello "smistamento" del codice (anche frazionandolo) alle varie macchine. Il tutto in modo trasparente . Io "dovrei" testare l'efficienza di tale approccio .

Mi sembra più facile a dirsi che a farsi. Magari si può realizzare un programma che effettui queste analisi e tiri fuori queste informazioni per programmi "semplici", ma normalmente è chi ha realizzato il software che è a conoscenza di questi requisiti e un programma, per quanto ben fatto, difficilmente riuscirerà in questo compito...

[Ventu]

Compaesano, quando sarai (non so' se ci sei già) all'Università e dovrai dare (in informatica) Sistemi Operativi fammelo sapere..hai fatto caso alle faccine vero? Quelle dicono tutto. Tieni anche in conto che il tutto è in Java (quidi interpretato) ed hai anche più di quello che stai pensando tu come problemi.!!!!!

[cdimauro]

Originariamente inviato da Ventu
Compaesano, quando sarai (non so' se ci sei già) all'Università e dovrai dare (in informatica) Sistemi Operativi fammelo sapere..

Ciau 'mpare!
Già data e già laureato...

hai fatto caso alle faccine vero? Quelle dicono tutto.

C'ho fatto caso, ma se mi dici che comunque ci stai lavorando per testare questo sistema, vuol dire che qualche "pazzo" ha avuto il coraggio di realizzarlo. Da cui la mia osservazione. Tutto qui.

Tieni anche in conto che il tutto è in Java (quidi interpretato) ed hai anche più di quello che stai pensando tu come problemi.!!!!!

Azz. Ma qui si sfiora l'autolesionismo!!!
Mi passi qualche link per vedere un po' chi ha realizzato questo progetto?

P.S. Lavori all'Università di Catania? Ingegneria o MMFFNN/Informatica?

[Ventu]

Da ieri -1 alla laurea (Ing. Informatica)

Ultima materia, materia della tesi : Sistemi Operativi

Link non te ne posso dare. Ho un sito di riferimento che è essenzialmente una board su cui ci scambiamo le info. Il GRID lo accedo perchè ho un certificato rilasciato dall'univesitrà (e mi stà pure scadendo). Gli sviluppatori del sistema sono dei colleghi, su guida (ovviamente) della Prof.ssa, dell'assistente e di un'altro assistente di Matematica ma la parte di analisi e valutazione delle richieste del codice non c'è ( ) ed in teoria devo essere io a "valutare" orientativamente (....come mi piaciono queste parole....) la combinazione migliore delle "richieste hw" ( ) . Se vuoi magari in privato ti dico anche i nomi.

Per quanto riguarda l' "autolesionismo" sul Java sono più che d'accordo con te, ma non faccio testo. A me il java non piace per principio seppur riconosco i suoi lati positivi, ma in questo caso non la vedo per niente una buona scelta anche se qui si stà parlando di operazioni che, comunque, in qualunque caso, occupano più tempo dell ' ''interpretazione" java per cui diventa irrilevante.

CIAO....

[cdimauro]

Qualche informazione m'interesserebbe, ma ho provato a scriverti un PVT e hai la casella di posta piena!

[Ventu]

Quattro messaggi ed era piena? Riprova. Ho svuotato....mettimi anche un indirizzo e-mail diretto così non passiamo più dai messaggi del 3D.

[Rubberick]

Io non capisco perke' la gente continua ad affidarsi a sistemi basati su architetture di questo tipo...

Se la sun si compra 5 rack belli pieni di xserve apple... loro che hanno i soldi avoja quanto calcolo riescono a fare... e su un sistema molto + stabile...

[cdimauro]

Potrebbero anche utilizzare rack server basati su Opteron in configurazione a 8 vie: prestazioni elevate e possibilità di gestire dati in maniera efficiente superando la barriera dei 4GB...

[Rubberick]

^^ I mac lavorano gia' con 8Gb di ram l'uno e 1.2 Tb di disco in raid multiplo e hd magneto-elettronici con fibre channel :P www.apple.com/xserve e arrivano alla bellezza di 4600Mhz

[cdimauro]

Originariamente inviato da Rubberick
^^ I mac lavorano gia' con 8Gb di ram l'uno

Meglio precisare: 8GB di ram per ogni server. Gli Opteron hanno superato da tempo questo limite...

e 1.2 Tb di disco in raid multiplo e hd magneto-elettronici con fibre channel :P

Ottima cosa, indubbiamente. Questo per gli Opteron è dettaglio chiaramente lasciato a chi realizza i sistemi basati su questi processori.

www.apple.com/xserve e arrivano alla bellezza di 4600Mhz

Non puoi mica sommare le frequenze dei processori...