Costo medio cluster da 64 cores e 128mb di ram?

[UomoAzione]

Ciao a tutti,
nel nostro laboratorio abbiamo due server e stiamo valutando l'acquisto di un cluster per poter eseguire analisi più pesanti (generalmente sempre parallelizzabili), pero' non abbiamo idea dei costi.

Come configurazione sarebbero sufficenti 64 core, 128mb di ram e un raid5 da circa 10Tb. L'S.O. sarà ubuntu server.

Qualcuno sa darmi qualche consiglio su componenti, marche più economiche ma affidabili e/o rivenditori affidabili?

Ringrazio anticipatamente chiunque volesse aiutarmi :)

[Tasslehoff]

Ciao a tutti,
nel nostro laboratorio abbiamo due server e stiamo valutando l'acquisto di un cluster per poter eseguire analisi più pesanti (generalmente sempre parallelizzabili), pero' non abbiamo idea dei costi.

Come configurazione sarebbero sufficenti 64 core, 128mb di ram e un raid5 da circa 10Tb. L'S.O. sarà ubuntu server.

Qualcuno sa darmi qualche consiglio su componenti, marche più economiche ma affidabili e/o rivenditori affidabili?

Ringrazio anticipatamente chiunque volesse aiutarmi :)Se si escludono progetti particolari e custom (es mostri da TOP500 (http://www.top500.org/)) ormai per fare 64 core bastano 4 serverini dual core, la ram ormai te la regalano anche nelle patatine per cui incide veramente poco sul totale.

Io fossi in te cercherei di capire bene quali sono le necessità anche in ottica futura, perchè per esigenze del genere imho scegliere singoli server ha poco senso, o per lo meno sono una soluzione poco gestibile o con poca scalabilità futura.
Imho per una roba del genere ci sterebbe proprio bene un bel Bladecenter, es IBM Bladecenter Chassis H (http://www-03.ibm.com/systems/it/bladecenter/hardware/chassis/bladeh/) (prezzo indicativo all'ingrosso circa 5300 euro) e quattro bei Bladecenter HS23 dual CPU Xeon a 8 Core (ram max 256 GB per ciascun blade, prezzo indicativo all'ingrosso 4200 euro).

Per lo storage avrebbe senso una san (FC se il budget lo permette oppure iSCSI), con magari OS dei singoli blade sui due dischi di ciascun blade in raid1 e storage applicativo su san (valuta bene la configurazione in base all'utilizzo, non partire con raid5 a prescindere).
Indicativamente considera un prezzo all'ingrosso sui 5000 euro per una san entry level con doppio controller SAS, esclusi dischi (300 euro circa per i 300GB SAS 15k), escluse interfacce iSCSI o FC (spannometricamente un 1000 euro l'una).

Ovviamente i prezzi sono per le versioni base, dei singoli componenti, per lo chassis devi aggiungere i moduli per l'alimentazione (8-900 euro l'uno), i moduli per la rete (almeno un paio), eventuali moduli FC (se vuoi connettere la san in FC), per il Bladecenter HS23 devi aggiungere il costo delle cpu, della ram e dello storage.
Insomma una configurazione di dettaglio la puoi fare solo componendo tutto con l'apposito configuration tool di IBM e il supporto di un commerciale partner.

Se punti su roba qualitativa IBM io ti consiglio di rivolgerti a Computergross, in Italia ha sbalzato Avnet come distributore IBM principale nel comparto server.

Se invece preferite stare sui singoli server indipendenti suggerisco di puntare sulle macchine Dell, ad esempio 4 PowerEdge R720 con doppia cpu Xeon a 8 Core, 64GB di ram ciascuno e storage SAS 15k in raid1 da 300GB (OS + binari) con 3 anni ProSupport NBD stai sui 9200 euro cad.
Per lo storage applicativo vale quanto detto sopra riguardo alla SAN.

Il vantaggio del Bladecenter sta nel fatto che tutto è modulare e ti offre maggiore flessibilità.
Se un domani vi rendete conto di dover alzare il tiro potete sempre aggiungere nuovi blade al bladecenter, oppure sostituire i vecchi con nuove versioni più potenti, il tutto senza considerare gli ovvi vantaggi dei Blade in termini di amministrazione centralizzata e consolidamento.

Per l'OS posso chiederti per quale motivo avete scelto Ubuntu? Esperienza pregressa o altro?
Verifica bene i requisiti dei software che ci installerete sopra, per molti produttori (es IBM oppure Oracle) le uniche distribuzioni certificate sono RedHat Enterprise o Suse, investire decine di migliaia di euro in hardware non ha molto senso se poi si vanifica tutto per risparmiare 250 euro l'anno di subscription per l'OS ;)

Se avete esigenze particolarmente pressanti in termini di licenze valutare anche le soluzioni Blade Hitachi che per il momento sono le uniche che permettono partizionamento hardware (LPAR) su architettura x64, ho sentito parlare molto bene anche delle loro SAN (da quanto ho letto sono le uniche a lavorare con doppio controller in modalità active-active, a differenza delle HP 3PAR che invece lavorano in time-sharing).
Siamo in attesa che ci consegnino un bell'ordine con questi blade e san Hitachi, appena ci metto le mani sopra vi faccio sapere ;)

[UomoAzione]

Ti ringrazio tantissimo per la esauriente risposta, abbiamo sempre lavorato su Ubuntu server su server di media potenza. Siamo solo un povero laboratorio italiano di microbiologia (^^) quindi penso proprio che le cifre da te indicate siano per noi inarrivabili... Potremmo forse arrivare a una spesa di 15 mila euro ma non di più...
Speravo ci fosse un qualche modo per abbattere i costi...

Per farti un esempio ora stiamo acquistando un paio di western digital sata da 2tb in quando il nostro server dual xeno 6core era stato acquistato a 5400 con 5 scsi da 300gb e 16g di ram per ridurre al massimo i costi (la ram e stata espansa poi a 48 e a breve ne avremo 64).

Non si tratta di avere un sistema a prova di bomba o con soluzioni professionali, in caso di rotture non succederebbe nulla di grave. Però se avessimo più processori potremmo eseguire delle analisi più interessanti, mentre così siamo soggetti a limitazioni.

Se solo ci fosse un qualsiasi tipo di sistema con molti core, 128gb di ram e supporto a raid 5 per normalissimi ed economici hd sata e un paio di ssd da usare solo in certi casi.

Non mi dilungo oltre, sei stato gentilissimo e mi hai tolto tanti dubbi :)

Inviato dal mio Newman K1 con Tapatalk 2

[PhoEniX-VooDoo]

Configurando 4 DELL PowerEdge R520 con 2x Intel® Xeon® E5-2420 1.90GHz, 15M Cache, 7.2GT/s QPI, Turbo, 6C, 95W e 32GB di RAM ciascuno ti viene (dal sito) 8588.00 EUR (2147.00 l'uno)

in questo modo ti ritrovi con 48 Core / 84 Thread e 128GB RAM

NON è inclusa l'alimentazione ridondante
NON è incluso un RAID Controller dedicato
NON sono inclusi dischi (solo un 500GB SATA per server)

quindi con il resto del budget devi pensare ad una soluzione di storage (ed al tipo di connessione con cui vuoi collegarlo) e sopratutto a come vuoi connettere i nodi tra di loro; usare la rete Gigabit non so se possa essere una soluzione valida.. solitamente si usa una rete Infiniband (con relativo switch) in questi casi. Escluderei la 10G Ethernet..

[UomoAzione]

Configurando 4 DELL PowerEdge R520 con 2x Intel® Xeon® E5-2420 1.90GHz, 15M Cache, 7.2GT/s QPI, Turbo, 6C, 95W e 32GB di RAM ciascuno ti viene (dal sito) 8588.00 EUR (2147.00 l'uno)

in questo modo ti ritrovi con 48 Core / 84 Thread e 128GB RAM

NON è inclusa l'alimentazione ridondante
NON è incluso un RAID Controller dedicato
NON sono inclusi dischi (solo un 500GB SATA per server)

quindi con il resto del budget devi pensare ad una soluzione di storage (ed al tipo di connessione con cui vuoi collegarlo) e sopratutto a come vuoi connettere i nodi tra di loro; usare la rete Gigabit non so se possa essere una soluzione valida.. solitamente si usa una rete Infiniband (con relativo switch) in questi casi. Escluderei la 10G Ethernet..

Questa potrebbe essere un'ottima soluzione!

Una rete infiniband con switch quanto verrebbe a costare?

ma soprattutto... io non sono un informatico, sono un biologo da sempre appassionato di informatica che si è dato alla bioinformatica... finche si tratta di gestione dell'hardware e di configurazione di un server a livelli base non ho problemi, ma non saprei dove iniziare per creare una struttura a nodi, ne quali sono i limiti e i pregi... ovviamente non ci sono tecnici competenti che possano dedicarsi a questo, quantomento nella nostra università, quindi bisogna darsi al fai da te.

Avresti qualche link con cui potrei informarmi meglio?

[PhoEniX-VooDoo]

così su due piedi non ho link da darti, però non sono cose evidenti e c'e il rischio (con tutto il rispetto) che spesa una cifra importante vi ritroviate poi incapaci di metterla in funzione.

a questo punto credo che la cosa migliore per voi sia prendere un sistema singolo quad-socket con il quale potete arrivare a 32 core / 64 thread e fino a 1TB di RAM.

stessa cosa per i dischi, in questo caso sarebbero locali e potreste metterci semplici dischi SATA o SSD e gestire il tutto in maniera praticamente identica a quanto fate adesso, ma con molta-molta più potenza a disposizione.

in ogni caso i sistemi quad-socket sono molto costosi, quindi quei 15.000 euro è probabile che vi serviranno quasi tutti...

questo (http://www.supermicro.com/products/system/4U/8047/SYS-8047R-TRF_.cfm) è un esempio di quello cui parlo.

Qui (http://www.thinkmate.com/System/SuperServer_8047R-TRF+) (trovato su google) c'e il configuratore per una macchina dele genere, giusto per farti un'idea.

se alla fine sei convinto ti posso suggerire di trovare un'azienda che si occupa di assemblaggio / vendita e ordinare con loro; su questo non posso aiutarti perche non vivo in italia e di conseguenza non ne conosco..

[UomoAzione]

così su due piedi non ho link da darti, però non sono cose evidenti e c'e il rischio (con tutto il rispetto) che spesa una cifra importante vi ritroviate poi incapaci di metterla in funzione.

a questo punto credo che la cosa migliore per voi sia prendere un sistema singolo quad-socket con il quale potete arrivare a 32 core / 64 thread e fino a 1TB di RAM.

stessa cosa per i dischi, in questo caso sarebbero locali e potreste metterci semplici dischi SATA o SSD e gestire il tutto in maniera praticamente identica a quanto fate adesso, ma con molta-molta più potenza a disposizione.

in ogni caso i sistemi quad-socket sono molto costosi, quindi quei 15.000 euro è probabile che vi serviranno quasi tutti...

questo (http://www.supermicro.com/products/system/4U/8047/SYS-8047R-TRF_.cfm) è un esempio di quello cui parlo.

Qui (http://www.thinkmate.com/System/SuperServer_8047R-TRF+) (trovato su google) c'e il configuratore per una macchina dele genere, giusto per farti un'idea.

se alla fine sei convinto ti posso suggerire di trovare un'azienda che si occupa di assemblaggio / vendita e ordinare con loro; su questo non posso aiutarti perche non vivo in italia e di conseguenza non ne conosco..

Ti ringrazio, mi sa proprio che questa sarà la strada da seguire... ad ogni modo se ne parlerà l'anno prossimo, e se non sbaglio dovrebbero uscire gli xenon 12core :)

[malatodihardware]

Valuta anche i "vecchi" Dell C6100, hanno una buona potenza di calcolo e, se li trovi usati, hanno un ottimo rapporto q/p. Lo storage deve essere performante? Se vi serve solo la capacità puoi puntare anche a un Qnap da collegare in iscsi oppure un vecchio server da riutilizzare come storage. Visto che (da quello che ho capito, correggimi se sbaglio) l'uptime non è una cosa fondamentale, o comunque sacrificabile per avere più potenza, cercherei qualche occasione nell'usato

Inviato dal mio MB525

[UomoAzione]

Valuta anche i "vecchi" Dell C6100, hanno una buona potenza di calcolo e, se li trovi usati, hanno un ottimo rapporto q/p. Lo storage deve essere performante? Se vi serve solo la capacità puoi puntare anche a un Qnap da collegare in iscsi oppure un vecchio server da riutilizzare come storage. Visto che (da quello che ho capito, correggimi se sbaglio) l'uptime non è una cosa fondamentale, o comunque sacrificabile per avere più potenza, cercherei qualche occasione nell'usato

Inviato dal mio MB525


Si esatto, l'uptime è del tutto opzionale... quello che ci serve è solo molti core e circa 128gb di ram per fare praticamente quasi tutte le analisi che (al momento) si potrebbero fare su ciò che studiamo...

[!fazz]

volendo si potrebbe pure pensare non ad un cluster ma ad una sola macchina con una mobo quad socket

es
supermicro X9QR7-TF+ e xeon e5-6400, una soluzione un pò più da hpc

[flisi71]

Si esatto, l'uptime è del tutto opzionale... quello che ci serve è solo molti core e circa 128gb di ram per fare praticamente quasi tutte le analisi che (al momento) si potrebbero fare su ciò che studiamo...


Appoggio il consiglio di !fazz, specialmente se sei un laboratorio pubblico e puoi accedere alle convenzioni Consip: ad esempio se guardi il lotto 3 della convenzione Server8 puoi prendere una macchina rack Acer AR585 con 4 Opteron 6376 (16 core @ 2,3 GHz), 128 GB RAM, 2 HDD SAS da 300GB, no SO per 4545 € + IVA.