Efficienza del calcolo distribuito (risultati/risorse energetiche impiegate)

[GT82]

Ieri sera mentre spulciavo qualche sito dedicato ai supercomputer mi chiedevo una cosa...

siamo tutti d'accordo che sotto un ottica prettamente economica, il calcolo distribuito ha la sua piena legittimazione (basta pensare al costo di un superpc, alla sua manutenzione e ai pochi fondi che ricevono i centri di ricerca universitari)

sotto il profilo ambientale/energetico però, in quest'epoca in cui l'utilizzazione delle risorse sta avendo effetti collaterali a livello ambientale, socioeconomico, ecc. e quindi (per fortuna) le persone si stanno sensibilizzando sempre di più in un ottica più consapevole (ed efficiente) di utilizzo delle stesse, cosa si può dire in merito al confronto tra supercomputer dedicati ed ottimizzati vs. migliaia di singoli pc sparsi per il mondo?

prendendo ad esempio il superpc più famoso (IBM BlueGene/L) e guardandone la scheda tecnica emergono questi dati:

con 213 mila cpu PowerPc 440 a 700 Mhz sviluppa di picco 596 Teraflops (pari a 2.8 GFlops per CPU)
considerate che ogni CPU consuma 17 watt

Su Rosetta@Home ad esempio 460 mila pc (di cui 450 mila attivi) arrivano a 59 Teraflops, il paragone è imbarazzante no?

eppure un Pentium 4 3 Ghz arriva (teoricamente) a 6 GFlops mentre un Core 2 Duo addirittura a 24 e su Rosetta penso che la stragrande maggioranza dei pc sia in linea con il Pentium 4 qui sopra, certo ci sono dei vecchi Pentium 2/3 o AMD K6 ma è anche vero che ci sono molti Quad overcloccati pure.

Cosa fa la differenza con i supercomputer allora? l'ottimizzazione delle applicazioni?

Guardando questi dati, mi viene difficile da pensare che questi pc sparsi dal lato energetico siano più efficienti di un superpc dedicato insomma, ma al contrario molto più inefficienti.

Non sarebbe il caso puntare di più sul supporto alle schede video?
le moderne GPU dedicate arrivano a 500/600 GFlops per scheda (decine di volte la potenza di una CPU), mentre il processore Cell multicore della Playstation 3 arriva a 256, solo 2 mesi fa con 10000 PS3 collegate in rete al progetto Folding@Home hanno raggiunto 1 Petaflops (e consideriamo che mentre calcolavano molta gente ci giocava!!)

[Effelle]

Considerazioni interessanti e che io credo nelle linee generali condivisibili.
C'è però un aspetto che nella comparazione andrebbe preso in considerazione: la pluralità di "progetti" appoggiati da una singola macchina.
Non conosco il dato generale, ma credo che un solo progetto non possa essere indice di confronto.

[gabi.2437]

Considerazioni interessanti, peccato che essendo roba volontaria ognuno contribuisce come può...e un P3 i punti, sebbene pochi, li fa.

E l'elaborazione su scheda video, si, volendo...è un incubo programmarla però! Al momento ovvio...e non è adatto a tutti i progetti mi sa

[GT82]

Il nocciolo della questione è:
riguardo al dato di Rosetta (ma penso che valga anche per gli altri progetti), come vanno interpretati quei 59 Teraflops?

si basano sulla potenza massima teorica di tutte le macchine collegate al progetto (quella rilevata dal bench interno al client) oppure è la potenza massima residua (quella che rimane dopo aver "sfamato" le altre applicazioni) che tutti quei pc "dedicano" a Rosetta?

perchè dalla prima situazione alla seconda le cose cambiano un bel po'...

[iuccio]

Allora, per prima cosa porto il contributo del Dott. Candiello che mi ha spiegato in una e-mail (che poi ho pubblicato qui) le differenze tra le varie possibilità di calcolo distribuito:

La terminologia corrente utilizzata per risorse di calcolo centralizzate ad alta densità è calcolo ad alte prestazioni (high performance computing, HPC), ovvero il tema prevalente di SC07, che riflette la focalizzazione americana su questo modello architetturale. Questo è il modello storicamente più noto e quello si fa riferimento in forma "implicita", il supercalcolatore monolitico. Strutturalmente è abbastanza semplice (sono migliaia di processori posti in calcolo parallelo), ma le applicazioni devono essere "ritagliate su misura" quasi caso per caso e supercalcolatore per supercalcolatore. Il più potente di oggi è Blue Gene di IBM (circa 1 petaflop di potenza, che sono 1.000.000.000.000.000 di operazioni in virgola mobile al secondo).

Quindi vedila così:

I supercomputer sono più efficienti perchè utilizzano A) hardware ottimizzato B) software SUPER ottimizzato.

Al contrario i nostri PC... vabbè.

Per le schede video:

Come ho puntualizzato al Dott. Candiello (non che non lo sapesse, solo che non l'ha scritto!) le schede video e i processori Cell eseguono calcoli vettoriali.
Le CPU x86 invece eseguono qualunque tipo di calcolo.

Sarebbe bello poter eseguire tutte le applicazioni tramite calcoli vettoriali, ma semplicemente (oltre a essere un casino come programmazione) non si può.
Per cui ci tocca tenerci le CPU. Alcune cose, tipo Folding, possono essere trasportate ma, ad esempio, non credo si possa fare lo stesso con ABC@home.

I 59 Teraflop di Rosetta (solo 59? Non erano 65?) indicano la potenza disponibile al progetto che io ne sappia, ma liberissimi di contraddirmi...

Insomma, in conclusione... Boinc è sì inefficiente dal punto di vista energetico (pensa anche solo al fatto che un supercomputer ha migliaia di processori e poco altro mentre lo stesso numero di processori, su Boinc, deve per forza alimentare anche migliaia di schede madri, schede video, alimentatori, monitor, tastiere, ecc) ma nemmeno così tanto.

E comunque è un modo di utilizzare l'energia sicuramente migliore di tanti altri

[GT82]

Ottimo contributo il tuo

Originariamente inviato da iuccio

I 59 Teraflop di Rosetta (solo 59? Non erano 65?) indicano la potenza disponibile al progetto che io ne sappia, ma liberissimi di contraddirmi...

Quindi sarebbe la seconda situazione, bhe se è così allora è accettabilissimo considerando che tutti i pc del mondo impegnano risorse a fare dell'altro (pochissimi si comprano un pc per dedicarlo al 100% al calcolo)

Insomma, in conclusione... Boinc è sì inefficiente dal punto di vista energetico (pensa anche solo al fatto che un supercomputer ha migliaia di processori e poco altro mentre lo stesso numero di processori, su Boinc, deve per forza alimentare anche migliaia di schede madri, schede video, alimentatori, monitor, tastiere, ecc) ma nemmeno così tanto.

L'efficienza si può cmq migliorare, ad esempio io devo cambiare il pc in firma, volevo prendere un dual core ma invece sto seriamente pensando ad un quad..
allo stesso consumo di quello che ho adesso ci faccio andare un dual core cloccato a 3 ghz con una capacità di elaborazione in BOINC pari a 4.5 volte quella che ho adesso
optando per un quad la capacità raddoppierebbe passando a 9 mentre il consumo sarebbe "solo" 1.5/1.6 volte maggiore

insomma con un consumo superiore del 50/60% rispetto al pc che ho adesso, avrei il lavoro equivalente di 9 computer come questo

E comunque è un modo di utilizzare l'energia sicuramente migliore di tanti altri

Senz'ombra di dubbio

[SickBoy88]

Bisogna anche tener conto che tutti i milioni di PC sparti per il mondo che partecipano allo scaccolamento sarebbero in ongni caso cmq accesi.
Per esempio io non tengo il mio PC acceso quasi 24/24 per BOINC.. Ce lo tengo per i cavoli miei.. ed allora.. perchè non tenere BOINC in scaccolamento?!
Penso che il calcolo distribuito sia una gran cosa.. che CHIUNQUE può fare tranquillamente senza il minimo disturbo e utilizzare completamente in modo intelligente la potenza di calcolo inutilizzata in tutte le ore che viene tenuto il PC acceso.. magari solo per scrivere su un foglio elettronico, ascoltare musica o giocare.

[Hazon]

Come si può ben definire da questa discussione l'unico punto a sfavore del calcolo distribuito è il consumo superiore di energia elettrica che equivale a più inquinamento.
Perché anche chi non lascia acceso il proprio pc 24h/24h ma lo utilizza solo per scrivere un documento ascoltare musica o altro facendo girare BOINC comporta ovviamente un consumo maggiore.
L'ideale sarebbe eseguire operazioni di calcolo distribuito su un pc alimentato ad energia solare... fantascienza?

[iuccio]

Originariamente inviato da Hazon

Come si può ben definire da questa discussione l'unico punto a sfavore del calcolo distribuito è il consumo superiore di energia elettrica che equivale a più inquinamento.
Perché anche chi non lascia acceso il proprio pc 24h/24h ma lo utilizza solo per scrivere un documento ascoltare musica o altro facendo girare BOINC comporta ovviamente un consumo maggiore.
L'ideale sarebbe eseguire operazioni di calcolo distribuito su un pc alimentato ad energia solare... fantascienza?

http://www.tomshw.it/guide.php?guide=20070910

[Hazon]

Originariamente inviato da iuccio

http://www.tomshw.it/guide.php?guide=20070910

Si avevo già visto quell'articolo... con termine "fantascienza" mi riferivo ad un concetto più ampio, cioè alla distribuzione/vendita di computer già predisposti a funzionare ad energia solare senza l'ausilio di nessuna apparecchiatura esterna.
Chiedo scusa per l'OT.

[Effelle]

Con la legge di bilancio ("Finanziaria") dello scorso anno furono date molte possibilità nell'ambito del "solare" proprio ai privati non commerciali tramite finanziamenti particolarmente agevolati e altro.
Già da qualche mese ho cominciato a darmi d'affare per convincere i condomini ad installare dei pannelli fotovoltaici nella palazzina dove attualmente abito (un totale di 9 unità abitative).


So che non sarà una operazione a breve termine, e però spero di riuscire a portare dalla mia parte tutti i condomini.

[SickBoy88]

Bhe.. per quanto riguarda i pannelli fotovoltaici nn credo riuscirò a convincere mio padre.. è già stata dura convincerlo delle potenzialità delle lampadine a risparmio energetico
Cmq.. è vero che con il calcolo distribuito il consumo è maggiore ma.. non so.. quanto sarà mai maggiore? Non credo che ci sia un divario di consumo così ampio.. almeno a parer mio senza dati scientifici alla mano

[iuccio]

Dipende dal processore e da quanto il PC resta acceso.

Ti porto l'esempio di un QX6850 (quad core a 3ghz, FSB 1333) che han testato qui su HWUP:

Sistema in IDLE: 155W
Sistema in FULL (solo CPU): 196W

Quindi con BOINC un PC di quel tipo consuma 41W in più, che non sono tanti ma neanche pochi!

Q6600 IDLE: 153W
Q6600 FULL: 233W

Il Q6600 ha persino più scarto, 80W! Non so come mai

AthlonX2 5000+ IDLE: 102W
AthlonX2 5000+ FULL: 159W
57W di differenza

Phenom 9500 (quad a 2.2Ghz)
Phenom 9500 IDLE: 155W
Phenom 9500 FULL: 222W
67W di differenza

AthlonX2 6.400+ IDLE: 118W
AthlonX2 6.400+ FULL: 230W
112W di differenza!

Ti copio un grafico che facciamo prima





Così, a occhio quindi, ti direi che un sistema in FULL consuma mediamente circa un 40% in più di un sistema in IDLE.

Ossia, BOINC fa consumare circa il 50% quando usi il computer.
La percentuale sale, E DI MOLTO, se si lascia il PC acceso appositamente (es. mentre si dorme).
In quel caso il consumo "teorico" sarebbe 0 mentre il consumo "reale" sarà di tot watt.

Volendo fare una tabellina si potrebbe dire così:

Consumo durante utilizzo PC = 100
Consumo durante utilizzo PC e Boinc acceso: 150

Consumo a PC inutilizzato e spento = 0
Consumo a PC inutilizzato e Boinc acceso: 150

N.B. I numeri sono puramente indicativi e servono solo ad esprimere delle proporzioni

Ad ogni modo, per poter fare una reale comparazione sui consumi (avete presente la mamma/papà che scassa perchè il computer è sempre acceso e consuma energia?) fate conto che una lampadina consuma in media sui 40W

[SickBoy88]

'mmazza
Bhe.. non è tantissimo.. ma non è nemmeno poco..
Io vabè.. tengo BOINC aperto quando uso il pc per qualcos'altro.. quindi... sempre! a parte la notte.
Non credevo che facesse questa differenza.. sono un po sorpreso.
Cmq.. io in camera ci passo tantissime ore.. per il fatto che ci sto al pc, ci studio, studio al pc (faccio informatica a pisa quindi..), ci sto a leggere.. mi manca di mangiarci e sono a posto allora c'ho messo e lampadine a risparmio energetico che mi fanno un po' più di luce rispetto ad una ad incandescenza da 100W ma ne consuma solo 9
W la tecnologia.. quello che consumo di + con boinc lo risparmio con le lampadine

[iuccio]

Originariamente inviato da SickBoy88

'mmazza
Bhe.. non è tantissimo.. ma non è nemmeno poco..
Io vabè.. tengo BOINC aperto quando uso il pc per qualcos'altro.. quindi... sempre! a parte la notte.
Non credevo che facesse questa differenza.. sono un po sorpreso.
Cmq.. io in camera ci passo tantissime ore.. per il fatto che ci sto al pc, ci studio, studio al pc (faccio informatica a pisa quindi..), ci sto a leggere.. mi manca di mangiarci e sono a posto allora c'ho messo e lampadine a risparmio energetico che mi fanno un po' più di luce rispetto ad una ad incandescenza da 100W ma ne consuma solo 9
W la tecnologia.. quello che consumo di + con boinc lo risparmio con le lampadine

Come già ho avuto occasione di dire, sicuramente è un modo migliore di impiegare l'energia

[nicko_t]

Considerando poi che adesso è inverno, tutti quei watt sono COMPLETAMENTE convertiti in calore; almeno nel mio caso, questo mi consente di tenere più basso il riscaldamento quando ci lavoro vicino, quindi alla fine non spreco niente... ( si, si okay, il metano sarà più efficiente, vabbè... )

[GHz]

Originariamente inviato da iuccio

Come già ho avuto occasione di dire, sicuramente è un modo migliore di impiegare l'energia

Quotone!

Originariamente inviato da nicko_t

Considerando poi che adesso è inverno, tutti quei watt sono COMPLETAMENTE convertiti in calore; almeno nel mio caso, questo mi consente di tenere più basso il riscaldamento quando ci lavoro vicino, quindi alla fine non spreco niente... ( si, si okay, il metano sarà più efficiente, vabbè... )

Quoto

Quando avevo 3 pc in camera potevo tenere anche il termosifone spento Ma anche il quad da solo non scherza

[iuccio]

Originariamente inviato da McAuriel

L'unica cosa che posso dire in proposito al calcolo e alle GPU è che non è del tutto banale la programmazione delle GPU, sopratutto nell'ottica di sfruttare al massimo la potenza di calcolo.


Però confermo che le schede NVIDIA, con CUDA, producono di quelle cose fuori da ogni immaginazione.

Avremo occasione di parlare anche di quello nel nuovo sito...

Tu sei competente in materia? Sai come si programmano le GPU? Perchè sarebbe una manna dal cielo... =P

[iuccio]

Originariamente inviato da McAuriel

Comunque tornando al centro del topic, una cosa è il calcolo distribuito mentre una cosa è l'HPC. E' notevole la differenza tra i due approcci computazionali.

Potresti approfondire?
Queste sono tutte informazioni MOLTO utili a capire cos'è il calcolo distribuito e perchè partecipare...

P.S. Gira voce che le GPU siano sì potentissime come capacità di calcolo... ma per alcune cose non vadano bene. Vero o no che possono eseguire solo calcoli vettoriali? Vero o no che implementano solo la single precision?

[arabesk]

Secondo me tutti questi calcoli su quanto costa il calcolo condiviso e quanto inquina, seppure leggittimi, non tengono in considerazione un dato fondamentale, che è la volontà di condividere un progetto scientifico... una forma di beneficienza.
Non è che se vado a fare il volontario alla Caritas mi metto a contare quanto spendo di benzina per arrivare in loco, oppure quanto non guadagno con una giornata di lavoro, se ci credo lo faccio e basta. Se dono 2 euro a telethon non è che mi metto a pensare cosa avrei potuto fare in alternativa con quei 2 euro. E' ovvio che se faccio fare al mio pc un calcolo condiviso consumerà di + rispetto all' idle. Il vantaggio del calcolo condiviso è il numero di persone che lo fanno, e considerando che la capacità di calcolo dei proci sale sempre così come quello degli utenti collegati su internet le potenzialità saranno sempre maggiori rispetto ad 1 supercalcolatore, ve lo immaginate il governo italiano che compra tanti supercomputer per fare tanti progetti di ricerca scientifica??
Il massimo di innovazione tecnologica che l'italia ha saputo esprimere negli ultimi anni sono stati quei c**** di decoder del digitale terrestre che non servono a nulla