Stiamo creando un supercomputer, consigli?

[conenna]

Salve ragazzi, il nostro gruppo di ricerca sta cominciando a valutare la realizzazione di un supercomputer economico basato su una rete di pc di tipo "normale" organizzata secondo un cluster beowulf...
Chi ci vuole aiutare?
Vorremmo valutare se conviene di più una rete di 8 (espandibile a 15) pc basati su intel core2 o amd x2...
Abbiamo un budget iniziale di almeno 5000 euro!
Forza, che poi ci faremo girare superpi

AGGIORNAMENTO del 01-08-2007
SERVER
cpu: Intel Q6600, aspettando lo step G0
Asus p5k

SLAVE 1° tipo
cpu: Intel Q6600, aspettiamo lo step G0
Asus p5k

Slave 2° tipo
cpu: AMD X2 5600+
scheda madre:BOH

[pgp]

Con 625€ non vengono fuori dei supercomputer...
...comunque puntate sui core 2 duo della intel, che (se vi servisse più potenza) si overcloccano molto bene, in particolare l'E4300, che da 1,8ghz di default arriva senza problemi, se affiancato da una buona scheda madre, a 3ghz.
Comunque in questo thread ci sono le configurazioni consigliate e i costi... guardate lì.
Ciao

[runk]

se vi interessa solo potenza di elaborazione e quindi vga zero io prenderei dei 6600 o q6600 con p5k e team elite, e un aly buono! overcloccherei il tutto e metterei in cluster!

[demonbl@ck]

Originariamente inviato da conenna

Salve ragazzi, il nostro gruppo di ricerca sta cominciando a valutare la realizzazione di un supercomputer economico basato su una rete di pc di tipo "normale" organizzata secondo un cluster beowulf...
Chi ci vuole aiutare?
Vorremmo valutare se conviene di più una rete di 8 (espandibile a 15) pc basati su intel core2 o amd x2...
Abbiamo un budget iniziale di almeno 5000 euro!
Forza, che poi ci faremo girare superpi

spiega spiega.... ho un casino di pc qui a casa, mi farebbe piacere poter ricavare qualcosa dai

-1x Epson El-Plus (farà si e no qualche kflop di potenza )
-1x Intel 486 Sx (idem come sopra... questi due non li userei ovviamente)
-2x Pentium 100
-1x Pentium 133 MMX
-1x Pentium 166 MMX
-1x Pentium II 266
-2x zelllerrrrron 400
-1x Sempron 2400+ (che non riesco a capire xke non va.....)
-1x Pentium IV 3.0 Ghz (ho rovinato 7 piedini facendolo cadere )
-1x Pentium M banias 1600 (è il pc da cui sto scrivendo)
-1x Pentium IV 3.4 Ghz HT (sk 775)

dite che uscirebbe qualcosa da questi pc )senza contare quei che non vanno e i primi due dell'anteguerra ovviamente )?

eppoi come si crea 'sta rete?

[demonbl@ck]

Ah, mi sono dimenticato che io propenderei per q6600 in overclock ( a 3 gigi dovrebbe arrivarci come niente 9 , e con vga scadenti,tanto non vi servirà la video suppongo

[runk]

Originariamente inviato da demonbl@ck

Ah, mi sono dimenticato che io propenderei per q6600 in overclock ( a 3 gigi dovrebbe arrivarci come niente 9 , e con vga scadenti,tanto non vi servirà la video suppongo

esatto!

[conenna]

Dunque ragazzi, il cluster beowulf non è altro che una rete ad alta velocità composta da un pc "principale" e da un certo numero variabile di pc "secondari", ovviamente, poichè ci occupiamo di ricerca, stiamo valutando l'impiego di una configurazione come segue:
MASTER
Intel core2 6850 o core 2 quad
sk madre s 775

SLAVE
AMD X2 5000
sk madre s AM2

Il problema è semplice, poichè da un lato avendo 9 pc che presto diventeranno 17 (1 master ed un numero variabile di slave) da un lato ci serve la massima potenza di calcolo, dall'altro dobbiamo avere le massime performances/watt, ovvero riteniamo che, a fronte di una semplice sostituzione di cpu, ci convenga prendere dei processori e schede madri socket 775, installare roba tipo E6600 e poi fare l'upgrade o diversamente?
Tra l'altro preferiamo evitare l'overclock, immaginate come diventa critico gestire il raffreddamento in una stanza di 9 o 17 macchine overcloccate, va bene per giocare, ma se pensiamo all'affidabilità a lungo termine...
Sarebbe interessante che tutta la comunità di HWUpgrade partecipasse, potremmo sperimentare tecniche particolari di gestione di reti, dell'hardware e dei software, ecco perchè vogliamo coinvolgere tutti.
Pe il costo dell'hardware considerate che abbiamo sconti molto forti, per cui ad esempio paghiamo sia l' E6320 che X2 5600+ meno di 110 euro.
Abbiamo per esempio bisogno di capire se c'è qualche modo di collegare tutti questi pc tra loro con una lan gigabit tramite magari doppia interfaccia di rete da 1 GB e raddoppiare la velocità di trasmissione dati, perchè non abbiamo possibilità di usare connessioni in fibra, ma solo in rame.
Ad esempio, visto che staimo creando una macchina così veloce, conviene pensare di utilizzare la potenza di calcolo offerta anche dalle nuove VGA o concentrare gli sforzi solo su CPU?
Ovvero una applicazione sotto linux si può accelerare con CPU veloci o CPU più lente + VGA che facciano da acceleratore hardware?
Fatevi sotto, la sfida è aperta!
Ciao

[conenna]

Originariamente inviato da demonbl@ck

spiega spiega.... ho un casino di pc qui a casa, mi farebbe piacere poter ricavare qualcosa dai

-1x Epson El-Plus (farà si e no qualche kflop di potenza )
-1x Intel 486 Sx (idem come sopra... questi due non li userei ovviamente)
-2x Pentium 100
-1x Pentium 133 MMX
-1x Pentium 166 MMX
-1x Pentium II 266
-2x zelllerrrrron 400
-1x Sempron 2400+ (che non riesco a capire xke non va.....)
-1x Pentium IV 3.0 Ghz (ho rovinato 7 piedini facendolo cadere )
-1x Pentium M banias 1600 (è il pc da cui sto scrivendo)
-1x Pentium IV 3.4 Ghz HT (sk 775)

dite che uscirebbe qualcosa da questi pc )senza contare quei che non vanno e i primi due dell'anteguerra ovviamente )?

eppoi come si crea 'sta rete?

Guarda, per quanto concerne i tuoi pc, la rete beowulf è basata su un pc principale che "spezzetta" i calcoli e li invia ai pc secondari, per poi recuperare i singoli risultati dei calcoli e riassemblare la "risposta", se i tuoi computer hanno così grandi difefrenze di potenza, il cluster lavorerà ma in maniera sbilanciata, per cui le macchine più lente rallenteranno quelle più veloci...
Meglio un minicluster di tre-quattro pc egualmente veloci che una rete di tanti pc lenti e veloci...
Io userei solo:
1x Pentium IV 3.0 Ghz (ho rovinato 7 piedini facendolo cadere )
-1x Pentium M banias 1600 (è il pc da cui sto scrivendo)
-1x Pentium IV 3.4 Ghz HT (sk 775)
via via che proseguiremo col progetto, analizzeremo la configurazione beowulf, se poi hai fretta, vedo di inviare qualche link utile...
Bye

[omerook]

se i pc cluster non hanno bisogno di scheda video, hard disk e case si risparmiano parecchi soldi. sul discoro cpu vs gpu creda che tu debba fare una ricerca mirata sul tipo di calcoli che questa rete andra a fare. ciao.

[GiGaHU]

Se hai grossi sconti (potrebbero essere il 50% rispetto a noi "comuni" mortali?) perchè non ti fai 3/4 rack con doppio Xeon Quad (magari con i più veloci sul Master)? Con 6/7k euro magari ce la fai...
32 processori, nati "per far di conto insieme", non credo sarebbero male... poi bisogna valutare il reparto ram e dischi...
L'ideale sarebbe sfruttare le GPU, ma non ho ancora capito se sono già disponibili i codici per sfruttarle...

[conenna]

Originariamente inviato da omerook

se i pc cluster non hanno bisogno di scheda video, hard disk e case si risparmiano parecchi soldi. sul discoro cpu vs gpu creda che tu debba fare una ricerca mirata sul tipo di calcoli che questa rete andra a fare. ciao.

Sia chiaro, in questo tipo di cluster, i pc sono normali, nel senso che sono presenti: alimentatore, CPU, RAM, scheda madre, video, HDD, LAN, ovviamente abbiamo tolto il case, CDROM, tastiera, mouse e monitor.
Solo il server è completo in tutto e per tutto...

[conenna]

Originariamente inviato da GiGaHU

Se hai grossi sconti (potrebbero essere il 50% rispetto a noi "comuni" mortali?) perchè non ti fai 3/4 rack con doppio Xeon Quad (magari con i più veloci sul Master)? Con 6/7k euro magari ce la fai...
32 processori, nati "per far di conto insieme", non credo sarebbero male... poi bisogna valutare il reparto ram e dischi...
L'ideale sarebbe sfruttare le GPU, ma non ho ancora capito se sono già disponibili i codici per sfruttarle...

Siamo degli sperimentatori, è ovvio che possiamo fare un cluster "professionale" ma crediamo che sia meglio anche per motivi didattici ed economici realizzare la rete con materiale "comune" anche nell'ottica BEOWULF, ovevro super pc con componenti normali...
Non so quanta gente può permettersi XEON, etc...
Bye

[sibbi3]

Originariamente inviato da conenna

Siamo degli sperimentatori, è ovvio che possiamo fare un cluster "professionale" ma crediamo che sia meglio anche per motivi didattici ed economici realizzare la rete con materiale "comune" anche nell'ottica BEOWULF, ovevro super pc con componenti normali...
Non so quanta gente può permettersi XEON, etc...
Bye

Toglimi una curiosità, ma che tipo di sperimentazione effettuate? e secondo se siete una ditta con sconti come li a la mia ditta, all'ora potete trancuillamente permettervi degli xeon, per creare una rete ad alta velocita il consiglio e di fare una rete in fibra o al massimo usare uno switch gigabit per esempio un modello dell HP Procurve switch 1800-24G che possiede sia attacchi fibra che attacchi in rame, ma se dovete creare una rete piccola il costo di 40 metri di cavo in fibra già cablato non e poi cosi proibitivo anzi adesso possono permetterselo tutti.
ciao

[DarKilleR]

tutto dipende dal tipo di programmi che andrete ad usare, perchè esistono già dei cluster sia della nVidia che della ATI dove il lavoro grosso di calcolo lo svolgono solo le VGA.....

E a livello di prestazioni fai conto che giù un paio di VGA come una X1950XT dà pane e ciccia ai vostri super PC...

Però se non avete applicazioni che le sfruttano come non detto...

Tornando a voi, dovete vedere quanto quello che usate a livello di programmi per il calcolo distribuito sfrutta il multithread o no...e in caso quanto lo sfrutta...

Tipo meglio un dual core da mille mila Ghz o un quad core a frequenza un po' più bassa???
Cmq sul PC principale IMHO un po' di sano overclock io lo farei se dici che è un PC per conto suo...overcloccare un poco un C2D o un C2Q...è uno scherzo ^^
Tipo io sul mio E6600 ho fatto un overclock rocksolid del 50% e sono sempre ad aria...

Per gli altri PC se è vero quello che dici ci puoi mettere da un 486 ad un PC della nasa tanto è collegato in LAN...
Quindi io personalmente spenderei un bel po' sul PC principale ed il resto vedrei..
E se non avete possibilità di spendere molto e cmq vi volete fare anche 4/5 PC secondari allora puntate sugli AMD X2 a 65 nm, per il rapporto prezzo/prestazioni che hanno...soprattutto per il basso costo.

[flisi71]

Consiglio vivamente di contattare l'utente HexDEF6, che ci lavora tutt'ora su cluster HPC di paradigma Beowulf.


ciao

Federico

[en®]

oppure



chiavi in mano a casa vostra

[DarKilleR]

non ci devono mica fare i 3d mark...questa configurazione sono soldi buttati via e si ritrova con 1/4 della potenza di calcolo che avrebbero mettendo 10 P3 :P ^^ in parallelo...

1600€ di VGA LOL e la X-fi...come minimo a loro server una console di comando in stile DOS ^^

[en®]

ero evidentemente ironico...

[en®]

Originariamente inviato da conenna

Dunque ragazzi, il cluster beowulf non è altro che una rete ad alta velocità composta da un pc "principale" e da un certo numero variabile di pc "secondari", ovviamente, poichè ci occupiamo di ricerca, stiamo valutando l'impiego di una configurazione come segue:
MASTER
Intel core2 6850 o core 2 quad
sk madre s 775

SLAVE
AMD X2 5000
sk madre s AM2

Il problema è semplice, poichè da un lato avendo 9 pc che presto diventeranno 17 (1 master ed un numero variabile di slave) da un lato ci serve la massima potenza di calcolo, dall'altro dobbiamo avere le massime performances/watt, ovvero riteniamo che, a fronte di una semplice sostituzione di cpu, ci convenga prendere dei processori e schede madri socket 775, installare roba tipo E6600 e poi fare l'upgrade o diversamente?
Tra l'altro preferiamo evitare l'overclock, immaginate come diventa critico gestire il raffreddamento in una stanza di 9 o 17 macchine overcloccate, va bene per giocare, ma se pensiamo all'affidabilità a lungo termine...
Sarebbe interessante che tutta la comunità di HWUpgrade partecipasse, potremmo sperimentare tecniche particolari di gestione di reti, dell'hardware e dei software, ecco perchè vogliamo coinvolgere tutti.
Pe il costo dell'hardware considerate che abbiamo sconti molto forti, per cui ad esempio paghiamo sia l' E6320 che X2 5600+ meno di 110 euro.
Abbiamo per esempio bisogno di capire se c'è qualche modo di collegare tutti questi pc tra loro con una lan gigabit tramite magari doppia interfaccia di rete da 1 GB e raddoppiare la velocità di trasmissione dati, perchè non abbiamo possibilità di usare connessioni in fibra, ma solo in rame.
Ad esempio, visto che staimo creando una macchina così veloce, conviene pensare di utilizzare la potenza di calcolo offerta anche dalle nuove VGA o concentrare gli sforzi solo su CPU?
Ovvero una applicazione sotto linux si può accelerare con CPU veloci o CPU più lente + VGA che facciano da acceleratore hardware?
Fatevi sotto, la sfida è aperta!
Ciao

capisco che la potenza di calcolo assoluta possa indurre a un e6850, fantastico per la frequenza, batte anche un QX6800...
però in parallelo non sarebbero più indicati q6600 a bizzeffe?
ipotizzando i vostri sconti, cosa li pagate a oggi... 190 euro?

[papafoxtrot]

Metteri schede madri con video integrato per risparmiare, suppongo che 2Gb di ram potrebbero bastare: twinmos o kingston per risparmiare qualcosa. Poi amd 5600+ (tanti) oppure intel q6600.