View Full Version : Utility Grid: calcolo "a pagamento" per Sun
Redazione di Hardware Upg
10-02-2005, 07:12
Link alla notizia: http://news.hwupgrade.it/14019.html
Sun introduce un approccio molto interessante ai propri clienti, con il quale fornire potenza di elaborazione da sistemi remoti pagando un canone per processore all'ora
Click sul link per visualizzare la notizia.
Paganetor
10-02-2005, 07:49
Seti@Sun... :asd:
Mi sembra che si stia tornando indietro. Anni fa, centri elaborazione dati che lavoravano per conto terzi (soprattutto con gestionali) sono stati costretti a chiudere, perchè con l'aumentare della potenza dei singoli computer e la diminuzione dei prezzi ognuno si faceva le elaborazioni in casa.
Comunque, prima di lanciare una cosa del genere avranno fatto delle ricerche di mercato, dalle quali evidentemente è risultato che esiste una domanda per simili servizi, forse per picchi di lavoro.
...sistema di calcolo remoto...
Quindi accessibile via web?
Sarebbe come avere un processore super collegato tramite internet... ma allora la banda necessaria per il trasferimento dei dati non sarebbe troppo piccola, fungendo purtroppo da collo di bottiglia?
Oppure si ha il trasferimento dei dati solo prima e dopo l'elaborazione?
Qualcuno mi illumini
Originariamente inviato da ciop71
Mi sembra che si stia tornando indietro. Anni fa, centri elaborazione dati che lavoravano per conto terzi (soprattutto con gestionali) sono stati costretti a chiudere, perchè con l'aumentare della potenza dei singoli computer e la diminuzione dei prezzi ognuno si faceva le elaborazioni in casa.
Comunque, prima di lanciare una cosa del genere avranno fatto delle ricerche di mercato, dalle quali evidentemente è risultato che esiste una domanda per simili servizi, forse per picchi di lavoro.
In realta' la domanda c'e' sempre, perlomeno per il calcolo
scientifico; il problema dei vari supercomputer di qualche anno fa
(che poi erano sostanzialmente Cray),
e' che avevano costi di "noleggio" per tempo macchina molto
alti, centinaia di volte superiori a questi. In piu', i sistemi erano
proprietari, per cui nessuno, avendoli mai visti, ci capiva nulla. Le prenotazioni
erano ultrarigorose etc., e alla fine quello che pagavi sostanzialmente era
la logistica, e rimaneva ben poco tempo per il calcolo. Ora, praticamente
questi sistemi non sono nient'altro che reti di PC con Linux, molto
pompati (soprattutto in RAM) esattamente
uguali al PC di casa, ma con più memoria e con la possibilita' di lavorare
in cluster, e con la HOME in NFS. La programmazione parallela
pero' uno se la deve fare, non e' che specifica N=64 e per miracolo ecco che il programmillo scritto magari con i piedi in Fortran magicamente girera' su tutti i
512 nodi alla velocita 512x...
L'unico problema di questi sistemi, perlomeno di alcuni,
e' che chiaramente non ci sono limiti agli accessi, per cui se ci sono
troppi utenti (ne bastano 64 su un cluster di 64 nodi), ti ritrovi con
una potenza di calcolo inferiore a quella che
avesti sul tuo PC...; quanto alla programmazione parallela, i matematici
e fisici, hanno la tendenza ad evitarla (per non doverla imparare) e
tendono anziche' a lanciare un'unica simulazione parallelizzata,
N simulazioni (ovviamente ciascuna con parametri differenti...).
Comunque penso che se ben gestita a livello di accessi possa
essere piu' conveniente rivolgersi a questi centri, che
magari farsi il beowulf di una 20ina o 30ina di nodi in casa. Anche se
facendo 2 o 3 conti non saprei. Un cluster beowulf di una ventina di nodi
generalmente piu' costare dai 10 ai 30000 euro. E dopo 3,4anni
rimane praticamente obsoleto, periodo trascorso il quale i 20 nodi sono
praticamente equivalenti a 2 PC da due (e quindi come costi di mantenimento
[consumo corrente, etc.], conviene praticamente dismetterlo e passare
ai 2PC. Ora in 3-4 anni ci sono sulle 26-35000 ora. 35000 ore a 1euro all'ora
sono 35000 euro...: siamo li come costi.
Originariamente inviato da fugazy
...sistema di calcolo remoto...
Quindi accessibile via web?
Sarebbe come avere un processore super collegato tramite internet... ma allora la banda necessaria per il trasferimento dei dati non sarebbe troppo piccola, fungendo purtroppo da collo di bottiglia?
Oppure si ha il trasferimento dei dati solo prima e dopo l'elaborazione?
Qualcuno mi illumini
Generalmente ti danno accesso a PC con Linux (o magari
Solaris) tramite SSH. E li ti trovi una
HOME e i programmi necessari (compilatori, etc.). I programmi
te li trasferisci sulla tua HOME remota, li compili e li lanci,
e i risultati dell'elaborazione rimarranno li. Quando hai finito ti riprendi i risultati dell'elaborazione in SSH e te li trasferisci sulla tua home locale. Certamente
se la tua simulazione genera 18 petabytes di dati, la vedo un po' dura
ritrasferirteli...
floating
10-02-2005, 09:27
Originariamente inviato da joe4th
.... Ora in 3-4 anni ci sono sulle 26-35000 ora. 35000 ore a 1euro all'ora
sono 35000 euro...: siamo li come costi.
Attenzione, se non ho capito male si parla di 1 euro/processore, non 1 euro/sistema completo!!!
Penso che regolamenteranno gli accessi creando un sistema di prenotazioni. Altrimenti, se si collegano assieme 1000 utenti e ci sono 100 processori le elaborazioni andranno lente come su un 486... Sarebbe come affittare lo stesso appartamento a 10 famiglie diverse!!
share_it
10-02-2005, 10:34
puo essere utile se ti dimentichi una password... ;)
Originariamente inviato da floating
Attenzione, se non ho capito male si parla di 1 euro/processore, non 1 euro/sistema completo!!!
Beh, allora decisamente non e' piu' conveniente...o meglio
lo e'...per la Sun.
Originariamente inviato da ciop71
Penso che regolamenteranno gli accessi creando un sistema di prenotazioni. Altrimenti, se si collegano assieme 1000 utenti e ci sono 100 processori le elaborazioni andranno lente come su un 486... Sarebbe come affittare lo stesso appartamento a 10 famiglie diverse!!
In alcuni sistemi di calcolo che ho avuto modo di provare
erano proprio cosi'. Un certo numero di macchine ben equipaggiate, installate
(alla cazzo) con mix fra Debian, RedHat, DigitalUnix, 32bit e 64bit...
senza semafori per gli utenti...
Sarebbe molto utile se tra i centri di ricerca, le università ecc. si facesse una rete di grid computing come quella sviluppata nei laboratori di Frascati e regolarne l'accesso a seconda delle necessità. Ci sono centri in cui in certi periodi servirebbe 100 volte la potenza disponibile altre in cui la potenza disponibile non viene sfruttata quasi per niente, mentre altri centri che hanno un sistema di calcolo sovradimensionato che non sfrutteranno mai a pieno, ma in Italia sarebbe chiedere troppo. Una cosa del genere la stanno progettando al cern per i centri di ricerca europei sfruttando anche le conoscenze sviluppate a Frascati. Inoltre potrebbe pure essere un modo per aumentare le entrate economiche nel caso si metta a disposizione di chi ne faccia richiesta.
Originariamente inviato da joe4th
... quanto alla programmazione parallela, i matematici
e fisici, hanno la tendenza ad evitarla (per non doverla imparare) e
tendono anziche' a lanciare un'unica simulazione parallelizzata,
N simulazioni (ovviamente ciascuna con parametri differenti...) ....spesso è vero, ma ci sono anche software che permettono in diversi casi di parallelizzare automaticamente un programma.
Originariamente inviato da LASCO
spesso è vero, ma ci sono anche software che permettono in diversi casi di parallelizzare automaticamente un programma.
Vero, ma le autoparellilazzioni lasciano il tempo che trovano
(l'unica autoparellelizzazione che funziona veramente e'
quella del benchmark del venditore del compilatore autoparallelizzante ;-)
e soprattutto sono al piu' performanti al piu' in cluster a memoria
condivisa non certo a memoria distribuita.
Originariamente inviato da joe4th
Anche se
facendo 2 o 3 conti non saprei. Un cluster beowulf di una ventina di nodi
generalmente piu' costare dai 10 ai 30000 euro. E dopo 3,4anni
rimane praticamente obsoleto, periodo trascorso il quale i 20 nodi sono
praticamente equivalenti a 2 PC da due (e quindi come costi di mantenimento
[consumo corrente, etc.], conviene praticamente dismetterlo e passare
ai 2PC. Ora in 3-4 anni ci sono sulle 26-35000 ora. 35000 ore a 1euro all'ora
sono 35000 euro...: siamo li come costi.
c'e' una cosa che no nhai considerato nei tuoi conti.....
hai supposto la necessità di potenza di calcolo costante, cosa veramente rara da trovare......
un centro di quel tipo nasce proprio per venire incontro ad eseigenze di "potenza" estremamente incostante (questo mese ho bisogno di apacità ci calcolo abnormi, poi per 6 mesi nulla.....etc...)
darkgenio
10-02-2005, 16:14
Maggiori informazioni sulla Grid di cui parli si trovano a questo sito:
http://eu-datagrid.web.cern.ch/eu-datagrid/
In pratica è stato costituito un consorzio pubblico-privato il cui obbiettivo è creare appunto una Grid europea in grado di erogare risorse di calcolo su richiesta degli istituti di ricerca che verranno connessi. Il progetto si sviluppa in parallelo con la costruzione al Cern del nuovo acceleratore di particelle LHC che produrrà una mole di dati di diversi peta byte l'anno. la necessità di ricercare informazioni nella mole di dati prodotti richiederà infatti un potenziale di calcolo enorme.
ciao
ichnusa82
10-02-2005, 17:29
e' da considerare anche la corrente per il datacenter ed il sistema di condizionamento, la manutenzione, il personale, il locale... a mio modesto parere la farm di per se ha il costo minimo dell'intera struttura soprattutto se la richiesta di potenza elaborativa non e' costante. in questo caso sarebbe piu' economico comprarla quando serve
cioe se io devo convertire un file video per esempio a divx lo posso mandare al loro server che lo elaborano e come finisce me lo rinviano?
e poi mi arriva il conto sul tempo che il server ha impiegato per fare l' intera operazione?
Originariamente inviato da midian
cioe se io devo convertire un file video per esempio a divx lo posso mandare al loro server che lo elaborano e come finisce me lo rinviano?
e poi mi arriva il conto sul tempo che il server ha impiegato per fare l' intera operazione?
be credo il concetto sia piu' o meno questo anche se è difficile che il tipo di applicazione sia di questo tipo :D
superpippo32
11-02-2005, 16:15
se con un dollaro si riesce a renderizzar una scena di 3dstudiomax in mezz'ora che ben venga. Il tempo è denaro. Io ci metto tutta la notte quando non si blocca
:rolleyes:
Se offrono il servizio ci sarà di sicuro una banda passante sufficente.
Originariamente inviato da dins
be credo il concetto sia piu' o meno questo anche se è difficile che il tipo di applicazione sia di questo tipo :D
vabbe dai era solo un esempio :D
Qualcuno sarebbe cosi gentile da indicarmi un sito o documento in cui si parla sul "grid". Come funziona, realizza ecc... ?
Originariamente inviato da darkgenio
Maggiori informazioni sulla Grid di cui parli si trovano a questo sito:
http://eu-datagrid.web.cern.ch/eu-datagrid/
In pratica è stato costituito un consorzio pubblico-privato il cui obbiettivo è creare appunto una Grid europea in grado di erogare risorse di calcolo su richiesta degli istituti di ricerca che verranno connessi. Il progetto si sviluppa in parallelo con la costruzione al Cern del nuovo acceleratore di particelle LHC che produrrà una mole di dati di diversi peta byte l'anno. la necessità di ricercare informazioni nella mole di dati prodotti richiederà infatti un potenziale di calcolo enorme.
ciao
L'LHC (Large Heldron Collider ...se non ricordo male) sarà un acceleratore nucleare in grado di produrre una quantità di dati dell'ordine dei 12 -14 PetaBytes (10^15) annui. Dovrebbe entrare in funzione nel 2007 e, a causa della sua "mole" di dati, si è resa necessaria la realizzazione di una struttura cosiddetta "Grid" per elaborarli. I progetti Grid sono, a livello mondiale, poco meno di una ventina, quello "datagrid" citato , asservirà essenzialmente alle richieste del cern per LHC come già detto . In tutto il mondo le persone che lavorano sulla "architettura software" delle varie Girglie (italianizzato) sono un po più di un migliaio. L'idea di base è molto interessante per quello che può offrire. Io, indegnamente, ho la fortuna di avere un'accesso al DataGrid (e quindi di poterlo usare :sofico: ) e di aver visto la farm di un INFN (istituto Nazionale di Fisica Nucleare) universitario. Vi assicuro che, dentro una stanza 4 x 8 c'era una potenza di calcolo di centinaia di CPU. Tutti rack bi Xenon da 2Ghz e 2G di memoria per ogni singolo rack.
Il discorso del "pay for use" al momento attuale (a parte questo di sun) è molto complicato. La struttura richiede accessi, strutturazione particolari delle richieste ma ha il vantaggio che uno, se vuole, può richiedere SO su cui eseguire il suo lavoro, quantità di CPU, memoria di sistema, ecc. Funziona essenzialemnte cosi: si fa la richiesta per un Job (vengono chiamati cosi), dopo aver sottomesso la richiesta (se non diversamente specificato) il sistema da cui si accede, spedisce una richiesta dei server disponibili e più "scarichi". A quel punto il "job" passa sulla macchina/sistema libero e viene elaborato. Alla fine dell'elaborazione il risultato viene posto in una directory temporana a cui, solo chi ha fatto richiesta, ha accesso. A questo punto si "ritrasferisce" il tutto "a casa" e automaticamente il file temporaneo viene eliminato.
Nei di questo approccio, al momento, ve n'è uno "enorme" secondo me: Io non so' mai se e quando il mio "job" è in esecuzione o è finito, almeno di non interrogare costantemente il CE (si chiamano così "Computing Element" la macchina a cui si accede sottomettendo i Job).
Ora passiamo a quello che invece sono "invitato" :cry: a fare. L'università in cui sono ha sviluppato un protocollo che "in teoria" dovrebbe semplificare molto quest'approccio e rendere molto più efficiente la cosa. Questo protocollo si dovrebbe occupare di, sottomesso un "programma", analizzare il suo sorgente, vedere che richieste di HD, ram e cpu ha bisogno in base all'analisi del codice, ed occuparsi dello "smistamento" del codice (anche frazionandolo) alle varie macchine. Il tutto in modo trasparente :eek: . Io "dovrei" testare l'efficienza di tale approccio :( .
Comunque, per chi ne vuole sapere di più (efams) non c'è che l'imbarazzo della scelta: basta digitare GRID su un qualsiasi motore di ricerca e ci si trova "sommersi". Se vuoi sapere di più di quelli universitari basta cercare datamat/datagrid ecc...
L'approccio sembra buono, ma momentaneamente è molto "under construction"...
P.S. In relatà chi ha vogli di "sperimentare" una "griglia" può scaricarsi un toolbox: "Globus" dal sito www.globus.org. Ovviamente, prima di imbattersi in tale "avventura" propongo di leggere...e molto....;)
cdimauro
14-02-2005, 07:52
Originariamente inviato da Ventu
Questo protocollo si dovrebbe occupare di, sottomesso un "programma", analizzare il suo sorgente, vedere che richieste di HD, ram e cpu ha bisogno in base all'analisi del codice, ed occuparsi dello "smistamento" del codice (anche frazionandolo) alle varie macchine. Il tutto in modo trasparente :eek: . Io "dovrei" testare l'efficienza di tale approccio :( .
Mi sembra più facile a dirsi che a farsi. Magari si può realizzare un programma che effettui queste analisi e tiri fuori queste informazioni per programmi "semplici", ma normalmente è chi ha realizzato il software che è a conoscenza di questi requisiti e un programma, per quanto ben fatto, difficilmente riuscirerà in questo compito...
Compaesano, quando sarai (non so' se ci sei già) all'Università e dovrai dare (in informatica) Sistemi Operativi fammelo sapere..hai fatto caso alle faccine vero? Quelle dicono tutto. Tieni anche in conto che il tutto è in Java (quidi interpretato) ed hai anche più di quello che stai pensando tu come problemi.!!!!!:(
cdimauro
15-02-2005, 08:05
Originariamente inviato da Ventu
Compaesano, quando sarai (non so' se ci sei già) all'Università e dovrai dare (in informatica) Sistemi Operativi fammelo sapere..
Ciau 'mpare! :D
Già data e già laureato... ;)
hai fatto caso alle faccine vero? Quelle dicono tutto.
C'ho fatto caso, ma se mi dici che comunque ci stai lavorando per testare questo sistema, vuol dire che qualche "pazzo" ha avuto il coraggio di realizzarlo. ;) Da cui la mia osservazione. Tutto qui. :D
Tieni anche in conto che il tutto è in Java (quidi interpretato) ed hai anche più di quello che stai pensando tu come problemi.!!!!!:(
Azz. Ma qui si sfiora l'autolesionismo!!! :eek:
Mi passi qualche link per vedere un po' chi ha realizzato questo progetto? :D
P.S. Lavori all'Università di Catania? Ingegneria o MMFFNN/Informatica?
Da ieri -1 alla laurea (Ing. Informatica)
Ultima materia, materia della tesi : Sistemi Operativi
Link non te ne posso dare. Ho un sito di riferimento che è essenzialmente una board su cui ci scambiamo le info. Il GRID lo accedo perchè ho un certificato rilasciato dall'univesitrà (e mi stà pure scadendo). Gli sviluppatori del sistema sono dei colleghi, su guida (ovviamente) della Prof.ssa, dell'assistente e di un'altro assistente di Matematica ma la parte di analisi e valutazione delle richieste del codice non c'è ( :D ) ed in teoria devo essere io a "valutare" orientativamente (....come mi piaciono queste parole....) la combinazione migliore delle "richieste hw" ( :D :D :D :D) . Se vuoi magari in privato ti dico anche i nomi.
Per quanto riguarda l' "autolesionismo" sul Java sono più che d'accordo con te, ma non faccio testo. A me il java non piace per principio seppur riconosco i suoi lati positivi, ma in questo caso non la vedo per niente una buona scelta anche se qui si stà parlando di operazioni che, comunque, in qualunque caso, occupano più tempo dell ' ''interpretazione" java per cui diventa irrilevante.
CIAO....
cdimauro
15-02-2005, 09:58
Qualche informazione m'interesserebbe, ma ho provato a scriverti un PVT e hai la casella di posta piena! :p
:eek: Quattro messaggi ed era piena? Riprova. Ho svuotato....mettimi anche un indirizzo e-mail diretto così non passiamo più dai messaggi del 3D.
:p
Rubberick
18-02-2005, 12:41
Io non capisco perke' la gente continua ad affidarsi a sistemi basati su architetture di questo tipo...
Se la sun si compra 5 rack belli pieni di xserve apple... loro che hanno i soldi avoja quanto calcolo riescono a fare... e su un sistema molto + stabile...
cdimauro
18-02-2005, 13:14
Potrebbero anche utilizzare rack server basati su Opteron in configurazione a 8 vie: prestazioni elevate e possibilità di gestire dati in maniera efficiente superando la barriera dei 4GB... ;)
Rubberick
19-02-2005, 07:51
^^ I mac lavorano gia' con 8Gb di ram l'uno e 1.2 Tb di disco in raid multiplo e hd magneto-elettronici con fibre channel :P www.apple.com/xserve e arrivano alla bellezza di 4600Mhz
cdimauro
21-02-2005, 14:05
Originariamente inviato da Rubberick
^^ I mac lavorano gia' con 8Gb di ram l'uno
Meglio precisare: 8GB di ram per ogni server. Gli Opteron hanno superato da tempo questo limite...
e 1.2 Tb di disco in raid multiplo e hd magneto-elettronici con fibre channel :P
Ottima cosa, indubbiamente. Questo per gli Opteron è dettaglio chiaramente lasciato a chi realizza i sistemi basati su questi processori.
www.apple.com/xserve e arrivano alla bellezza di 4600Mhz
Non puoi mica sommare le frequenze dei processori... ;)
vBulletin® v3.6.4, Copyright ©2000-2025, Jelsoft Enterprises Ltd.