Consiglio configurazione server ad alto numero di core

[UomoAzione]

Ciao a tutti,
devo procedere all'acquisto di un server che possieda un elevato numero di core.

Le mie necessità sarebbero le seguenti:
-4 CPU da almeno 10/12 cores.
-512gb di ram.
-controller raid sata 3/4/5 western digital black 2/3Tb (homes ed esecuzione applicazioni).
-SSD samsung 850 pro 512gb (esecuzione applicazioni).
- 1 o 2 Western Digital Black, forse in raid0 (esecuzione applicazioni).
-controller raid sata o NAS esterno con 5x western digital red (storage).
-niente fronzoli costosi!!!


Qualsiasi consiglio/commento sui componenti (ed eventuali contatti via PM di negozi che trattano server customizzati) sono ben accetti!

Come potete capire dalle mie necessità, l'importante è indirizzare la spesa principalmente alla potenza di calcolo bruta.

Il server da sostituire è un dual CPU con 6 core per cpu e 80gb di ram.

[Maui78]

Ma cosa ci girerà sopra ? Un esx con n macchine virtuali ? O sarà un ambiente unico ?

[UomoAzione]

Originariamente inviato da Maui78

Ma cosa ci girerà sopra ? Un esx con n macchine virtuali ? O sarà un ambiente unico ?

Niente di particolarmente evoluto, dei programmi da console che macinano dati (ambito bioinformatico) che richiedono il massimo numero di CPU disponibili per allineamenti di sequenze, ricerche in databases o compiti simili.

Sul server teniamo Ubuntu e lo sfruttiamo in tre, collegati in remote desktop, ed ognuno di noi generalmente esegue un'analisi diversa che puo' consistere o in un eseguibile (o bash script) o una macchina virtuale in cui è installata una qualche suite software (sempre linux generalmente). Da qui anche la necessità di avere preferibilmente tre storage diversi (ssd + WB black + raid WB black), cosi' ognuno puo' lavorare su uno diverso.

Dovendo gestire tutto noi, che di fatto siamo solo biologi appassionati di informatica, preferiamo evitare configurazioni hardware/software complesse e difficili da gestire. Di fatto ci serve la maggior potenza di calcolo alla minor spesa monetaria e di tempo di gestione.


Anche per lo storage NAS abbiamo qualche dubbio, quale potrebbe essere una buona ed economica soluzione?

[PhoEniX-VooDoo]

ma lo volete costruire voi o comprare brandizzato?
avete un budget di riferimento?

la roba quad socket costa..

[UomoAzione]

Originariamente inviato da PhoEniX-VooDoo

ma lo volete costruire voi o comprare brandizzato?
avete un budget di riferimento?

la roba quad socket costa..

Ciao,
vorremmo spendere sui 15mila e customizzarlo quanto piu' possibile. Ad esempio vorremmo risparmiare sullo storage, i componenti per server hanno dei costi esagerati e si rompono tanto quanto dei comuni western digital (da nostra esperienza).

Ho letto che i processori E5-2650Lv3, che se ho ben capito sono i piu' economici da 12 core, dovrebbero costare sui 1350 dollari l'uno e non è male.
Per farmi un'idea dei costi uso questo sito che spero si possa linkare (nel caso lo rimuovo, scusate) http://www.thinkmate.com/system/hpx-xs5-4460-10g

[PhoEniX-VooDoo]

ok, quindi immagino che se questa macchina si ferma perche si rompe qualcosa per voi non sia un problema fare la diagnostica ed occuparvi del rimpiazzo?

il E5-2650Lv3 non puo' essere montato su una scheda madre quad socket, lo capisci dalla voce 'Scalability 2S'; a voi servono CPU che in quel campo specificano '4S'.

va bene per i black, anche se io ci metterei dei WD RE4.

[UomoAzione]

Originariamente inviato da PhoEniX-VooDoo

ok, quindi immagino che se questa macchina si ferma perche si rompe qualcosa per voi non sia un problema fare la diagnostica ed occuparvi del rimpiazzo?

il E5-2650Lv3 non puo' essere montato su una scheda madre quad socket, lo capisci dalla voce 'Scalability 2S'; a voi servono CPU che in quel campo specificano '4S'.

va bene per i black, anche se io ci metterei dei WD RE4.

Azz, sapresti dirmi qual'è la cpu 4S più economica con 12 core? sai dove recupero una tabella riassuntiva coi costi giusto per farmi un'idea?

[Tasslehoff]

Originariamente inviato da PhoEniX-VooDoo

ok, quindi immagino che se questa macchina si ferma perche si rompe qualcosa per voi non sia un problema fare la diagnostica ed occuparvi del rimpiazzo?

Quoto.
Ovviamente non conosco nessun dettaglio riguardo alle vostre esigenze, però a occhio a me pare che il vostro scenario possa essere ideale con soluzioni di ben altro tipo, ad esempio delle macchine virtuali su Amazon WS che potete "pompare" o ridurre a piacimento a seconda delle esigenze di carico che avete in un dato momento.

L'hai detto tu stesso, siete biologi, il server è un banale strumento e tutto il tempo speso per manutenzione, guasti e altro è tempo buttato.
Imho piuttosto avrebbe molto più senso investire per fare in modo che i software che usate possano essere clusterizzati e sfruttare a consumo la potenza di grossi provider, piuttosto che su un pezzo di ferro che tra un anno sarà già troppo poco potente per le vostre esigenze.

[UomoAzione]

Originariamente inviato da Tasslehoff

Quoto.
Ovviamente non conosco nessun dettaglio riguardo alle vostre esigenze, però a occhio a me pare che il vostro scenario possa essere ideale con soluzioni di ben altro tipo, ad esempio delle macchine virtuali su Amazon WS che potete "pompare" o ridurre a piacimento a seconda delle esigenze di carico che avete in un dato momento.

L'hai detto tu stesso, siete biologi, il server è un banale strumento e tutto il tempo speso per manutenzione, guasti e altro è tempo buttato.
Imho piuttosto avrebbe molto più senso investire per fare in modo che i software che usate possano essere clusterizzati e sfruttare a consumo la potenza di grossi provider, piuttosto che su un pezzo di ferro che tra un anno sarà già troppo poco potente per le vostre esigenze.

Grazie dell'interesse,
Da anni siamo abituati ad avere i nostri server su cui poter lavorare, usandoli di fatto piu' come un pc desktop usando remote desktop. Ho provato a guardare i prezzi di amazon ma mi sono sembrati esorbitanti considerando che generalmente i nostri server sono sempre sfruttati al 100% a causa di vari lavori diversi in coda (da due anni abbiamo anche costituito uno spin off che offre servizi a terzi, aumentando notevolmente il carico di lavoro). Purtroppo non penso che l'uso di server fuori sede possa esserci pratica

Purtroppo i software che usiamo sono sviluppati generalmente da gruppi di ricerca o comunque piccoli team e non sono molto evoluti.

Per noi il top sarebbe un pc desktop con 100 core ^^, l'affidabilita' è secondaria, backappiamo tutto su hd esterni.

Anche l'ambito gpu computing é molto indietro

[wizard1993]

Originariamente inviato da UomoAzione

l'affidabilita' è secondaria, backappiamo tutto su hd esterni.

Provo a riformularti la domanda nel senso in cui la hanno intesa gli altri utenti:
Se ti si brucia la scheda madre/aliementatore/ram/controller dischi e dovete fermarvi per 15 giorni per aspettare il ricambio (non volete contratti di assistenza, giusto) Quanto è pesante?
Perchè è estremamente limitante pensare che solo i dischi si rompano, anzi: per mia esperienza non sono nemmeno quelli che si rompono più di frequente.

[dennyv]

Io per esperienza ti posso dire:

1) Server branded tutta la vita. Dell, HP o IBM/Lenovo. A lungo andare il TCO sarà più basso.

2) valuta bene il discorso numero di core, non è tutto, anche in abito HPC. Rischi di complicarti la vita (e costi) con server a 4 socket, quando magari le applicazioni sono più sensibili alla frequenza di clock e all'indice di prestazioni che neanche al numero di core.

Te lo dico perché gestisco tre cluster HPC per calcoli scientifici (ambito sismologico) con circa 1200 core in totale e ci sono certe applicazioni (parallele) che ci mettono meno su 2xIntel E5-2660 (8 core/16 threads > 16/32) che su 4xAMD Opteron 6274 (16 core > 64) a parità di clock.

[UomoAzione]

Originariamente inviato da wizard1993

Provo a riformularti la domanda nel senso in cui la hanno intesa gli altri utenti:
Se ti si brucia la scheda madre/aliementatore/ram/controller dischi e dovete fermarvi per 15 giorni per aspettare il ricambio (non volete contratti di assistenza, giusto) Quanto è pesante?
Perchè è estremamente limitante pensare che solo i dischi si rompano, anzi: per mia esperienza non sono nemmeno quelli che si rompono più di frequente.

Ciao,
per fortuna fin'ora abbiamo avuto solo rotture di dischi, pero' fermarsi un paio di settimane non e' un problema, dato che comunque abbiamo un altro server e potremmo adattarci

[UomoAzione]

Originariamente inviato da dennyv

Io per esperienza ti posso dire:

1) Server branded tutta la vita. Dell, HP o IBM/Lenovo. A lungo andare il TCO sarà più basso.

2) valuta bene il discorso numero di core, non è tutto, anche in abito HPC. Rischi di complicarti la vita (e costi) con server a 4 socket, quando magari le applicazioni sono più sensibili alla frequenza di clock e all'indice di prestazioni che neanche al numero di core.

Te lo dico perché gestisco tre cluster HPC per calcoli scientifici (ambito sismologico) con circa 1200 core in totale e ci sono certe applicazioni (parallele) che ci mettono meno su 2xIntel E5-2660 (8 core/16 threads > 16/32) che su 4xAMD Opteron 6274 (16 core > 64) a parità di clock.

Ciao,
purtroppo non ti so dire esattamente quanto incida la velocità dei singoli core, tutti i programmi sono puntati all'alta parallelizzazione...

Dici che valga la pena puntare piu' su branded? quanto sono customizzabili?

[UomoAzione]

Ragazzi mi é stato consigliato di valutare una soluzione a rack/cluster in quanto si riesce ad avere piu' performance a parita' di costo.

Io non ho idea di come si gestisca una macchina del genere, qualcuno sa darmi qualche informazione, una guida o altro?

Mi hanno cldetto che una volta montati i rack si installa ubuntu normalmente e tutto il sistema viene rilevato come una normale computer, é vero???

[PhoEniX-VooDoo]

rack e cluster sono due cose diverse

per rack si intende questo



ovvero un "armadio" dove si installano i server, che possono essere di diverse altezze mirusate in n U (=Unit), ad esempio 2U.
(ovviamente quello tutto sinistra non e' un rack ma un particolare server DELL a 4 blade)

qui maggiori info e foto

Con cluster / clustering invece si indicano quei sistemi composti da 2 a n "nodi" (=computer) ed interconnessi tra di loro tramite interfaccia di rete (rame, fibra, infiniband...) ed in grado di eseguire codice su piu nodi grazie a dei programmi che fanno da schedulatore (openMPI, SLURM ecc.).

Il setup di questi sistemi non e' qualcosa che si puo improvvisare dall'oggi al domani quindi attenzione..

[UomoAzione]

Ciao,
quindi se ho capito giusto, in un rack si installano server INDIPENDENTI (ognuno con un suo S.O. indipendente) che possono essere usati per calcoli distribuiti ed essere chiamati cluster (ad esempio mediante openMPI, che so essere supportato da alcuni software che uso).

Forse però dovrei guardare ad una soluzione blade? Vengono rilevato come un singolo sistema? Il mio problema è eseguire software disegnati per funzionare su un normale PC/Server.

Ti ringrazio del link, gli do una letta a breve... Inoltre penso che contatterò un tecnico IBM per farmi dare qualche consiglio

[PhoEniX-VooDoo]

si hai capito bene
i rack sono solo armandi di dimensioni standard che ospitano server in case a loro volta standard, altrimenti sarebbe un casino perche ogni vendor si inventerebbe le sue dimensioni

esistono diverse guide su come fare cluster "caserecci", puoi dargli un occhiata.
l'altro giorno ne ho vista una per mettere in cluster 4 raspberry pi e mi pare che la parte software era gestita da openmpi..

attenzione pero che se colleghi due nodi usando una semplice ethernet a 1GBit potresti (quasi sicuramente) avere problemi di prestazioni dovuti al limite di banda (125MB/s teorici) e latenza.

Solitamente nel HPC i nodi si collegano tra di loro con schede infiniband...

io resterei su singolo server "corazzato", valutando anche se per i vostri software sia meglio meno core ma piu veloci (dual socket con CPU a frequenza molto alta) o piu core meno veloci (quad socket con cpu a frequenza inferiore)

[UomoAzione]

Originariamente inviato da PhoEniX-VooDoo

si hai capito bene
i rack sono solo armandi di dimensioni standard che ospitano server in case a loro volta standard, altrimenti sarebbe un casino perche ogni vendor si inventerebbe le sue dimensioni

esistono diverse guide su come fare cluster "caserecci", puoi dargli un occhiata.
l'altro giorno ne ho vista una per mettere in cluster 4 raspberry pi e mi pare che la parte software era gestita da openmpi..

attenzione pero che se colleghi due nodi usando una semplice ethernet a 1GBit potresti (quasi sicuramente) avere problemi di prestazioni dovuti al limite di banda (125MB/s teorici) e latenza.

Solitamente nel HPC i nodi si collegano tra di loro con schede infiniband...

io resterei su singolo server "corazzato", valutando anche se per i vostri software sia meglio meno core ma piu veloci (dual socket con CPU a frequenza molto alta) o piu core meno veloci (quad socket con cpu a frequenza inferiore)

Grazie del consiglio!
Penso proprio che rimarro' orientato per una soluzione più standard!

L'unica cosa che mi rimane da capire è se le soluzioni blade vengono visti come un singolo sistema o se anche per loro vale il discorso fatto per i rack...

[PhoEniX-VooDoo]

le soluzioni blade sono viste come computer separati.
quello che condividono solitamente e' l'alimentazione e lo storage a volte.
poi ci sarann osicuramente implementazioni creative dove i blade condividono piu o meno cose.
cmq i blade di solito non hanno alte prestazioni, sono ordientati per alta densita'.

[Tasslehoff]

No, ciascun blade è un server indipendente che condivide solo lo chassis e alcuni dispositivi modulari (es switch ethernet o fibra per lo storage) ma solo a livello fisico, logicamente ogni blade è un server a se stante.
I blade sono pensati per aumentare la densità di server e semplificare la gestione, poi ci puoi fare qualsiasi cosa (tra cui clustering) come con qualsiasi server singolo.