processore/mother borard più veloce per spostamento arrays?

cndcnd · 22-02-2011, 13:54

Ciao a tutti,

Sono un ingegnere e mi occupo di modelli informatici dello sviluppo embrionale. Ho scritto un programma che, appunto, simula lo sviluppo embrionale di una serie di organi e parti anatomiche. La caratteristica principale del programma è la manipolazione di enormi array tridimensionali, che devono essere spostati da una parte all’altra della memoria.

Satvo cercando di capire qual è la migliore piattaforma hardware per questo tipo di applicazioni. Finora ho lavorato con una CPU “general purpose” (Intel Core 2 Quad Processor Q9550), che tuttavia pone dei limiti alla dimensione della griglia. 80 x 80 x 80 è la dimensione massima: andando oltre i tempi di calcolo diventano eccessivi (le realizzazioni seguenti:

http://www.artembryo.org/xx_Osx/zx_brain_dust_x0.avi
http://www.artembryo.org/xx_Osx/zx_stomach1_dust_x2.avi

ad esempio, richiedono in media 4-5 giorni di elaborazione per essere completate).

Mi chiedevo quindi se esistono dei processori paralleli (il programma lo è) più adatti allo scopo.

Grazie,

Alessandro

WarSide · 22-02-2011, 14:05

Prima di parlare di hardware, domanda fondamentale: come hai scritto il programma? Java? C?

Hai controllato per bene gli algoritmi per cercare di ridurne la complessità?

Comunque sicuramente avresti vantaggi orientandoti su una piattaforma server multi socket e multicore (con eventuale tri/quad channel per le memorie)

cndcnd · 22-02-2011, 15:33

Il programma è scritto in C++ e penso che sia abbastanza ottimizzato (a scapito della chiarezza). Il maggior beneficio l'ho avuto compattando i dati in modo da minimizzare il numero di miss della cache, che nel q9550 è 12 MB (almeno è quello che penso).

Potresti essere più specifico sulla piattaforma hardware? Lo I7-990 potrebbe essere un'opzione? Con quale scheda madre e quale memoria?

Grazie

Pihippo · 22-02-2011, 17:15

Quote:

Originariamente inviato da cndcnd

Ciao a tutti,

Sono un ingegnere e mi occupo di modelli informatici dello sviluppo embrionale. Ho scritto un programma che, appunto, simula lo sviluppo embrionale di una serie di organi e parti anatomiche. La caratteristica principale del programma è la manipolazione di enormi array tridimensionali, che devono essere spostati da una parte all’altra della memoria.

Satvo cercando di capire qual è la migliore piattaforma hardware per questo tipo di applicazioni. Finora ho lavorato con una CPU “general purpose” (Intel Core 2 Quad Processor Q9550), che tuttavia pone dei limiti alla dimensione della griglia. 80 x 80 x 80 è la dimensione massima: andando oltre i tempi di calcolo diventano eccessivi (le realizzazioni seguenti:

http://www.artembryo.org/xx_Osx/zx_brain_dust_x0.avi
http://www.artembryo.org/xx_Osx/zx_stomach1_dust_x2.avi

ad esempio, richiedono in media 4-5 giorni di elaborazione per essere completate).

Mi chiedevo quindi se esistono dei processori paralleli (il programma lo è) più adatti allo scopo.

Grazie,

Alessandro

Ciao
Scusami se ti sembrerà una checklist:
Che liberia di math hai utilizzato?
Hai provato a vettorizzare gli accessi alla memoria? E' possibile? Il kernel principale in cosa consiste ?(provo ad indovinare moltiplicazioni ed addizioni di matrici non sparse ?)
Se è possibile fare tutto ciò, allora ti conviene fare un porting su cuda\opencl. Altrimenti un sistema 2p opteron 6100.

WarSide · 22-02-2011, 17:28

Quote:

Originariamente inviato da Pihippo

Ciao
Scusami se ti sembrerà una checklist:
Che liberia di math hai utilizzato?
Hai provato a vettorizzare gli accessi alla memoria? E' possibile? Il kernel principale in cosa consiste ?(provo ad indovinare moltiplicazioni ed addizioni di matrici non sparse ?)
Se è possibile fare tutto ciò, allora ti conviene fare un porting su cuda\opencl. Altrimenti un sistema 2p opteron 6100.

quoto

cndcnd · 23-02-2011, 09:37

No, figurati. Il programma è compilato con gcc con libreria matematica standard (-lm) e calcolo parallelo openmp.

Il “kernel” del programma è rappresentato da operazioni di “proliferazione cellulare” di forma ellissoidale, in cui i voxel di un ellissoide vengono colorati con un colore specifico. Il programma utilzza un algoritmo genetico per sperimentare diverse combinazioni di tali operazioni e trovare quella che produce il risultato migliore. Di conseguenza effettua un numero molto grande di queste operazioni. Per avere un’idea, puoi immaginare una griglia tridimensionale 100x100x100 in cui continuamente ellissoidi diversi per dimensione e orientazione vengono colorati e cancellati. L’operazione effettuata sul singolo voxel è invece banale (un int che cambia valore).

Vettorizzare gli accessi alla memoria? Come si fa? Le mie conoscenze informatiche purtroppo non sono elevatissime :-(

Secondo te è possibile ottenere una consulenza specifica? (anche a pagamento ovviamente). A chi potrei rivolgermi?

Grazie,

Alessandro

Pihippo · 23-02-2011, 10:17

Quote:

Originariamente inviato da cndcnd

No, figurati. Il programma è compilato con gcc con libreria matematica standard (-lm) e calcolo parallelo openmp.

Il “kernel” del programma è rappresentato da operazioni di “proliferazione cellulare” di forma ellissoidale, in cui i voxel di un ellissoide vengono colorati con un colore specifico. Il programma utilzza un algoritmo genetico per sperimentare diverse combinazioni di tali operazioni e trovare quella che produce il risultato migliore. Di conseguenza effettua un numero molto grande di queste operazioni. Per avere un’idea, puoi immaginare una griglia tridimensionale 100x100x100 in cui continuamente ellissoidi diversi per dimensione e orientazione vengono colorati e cancellati. L’operazione effettuata sul singolo voxel è invece banale (un int che cambia valore).

Vettorizzare gli accessi alla memoria? Come si fa? Le mie conoscenze informatiche purtroppo non sono elevatissime :-(

Secondo te è possibile ottenere una consulenza specifica? (anche a pagamento ovviamente). A chi potrei rivolgermi?

Grazie,

Alessandro

Ciao
Molto interessante come programma e ricerca.
Comunque ti devo delle scuse poichè non mi son spiegato per nulla.
Con vettorizzare gli accessi alla memoria, intendevo massimizzare (come appunto in un vettore) la bw, ovvero caricare tutta la roba che ti serve in un singolo accesso e ridurre al minimo eventuali ritorni alla ram. Non è facilissimo è probabilmente mi son spiegato male pure io, ed è altamente probabile che abbia sbagliato a capire qualcosina

.
Comunque qui c'è qualcosina in più:
http://developer.amd.com/documentati...e-Study_2.aspx

Athlon · 23-02-2011, 11:30

Un buon aiuto a capire il problema puo' venire se mentre fai girare i programmi fai un monitoraggio dell' uso delle risorse.

Ad esempio hai controllato se per caso quando all' aumentare della dimesione della griglia non stai andando in swap?

Se il tuo algoritmo e' parallelizzabile piu' che puntare ad una sola CPU putente ti conviene puntare su tante macchine piu' economiche.

Anche l'idea di usare i processori grafici non e' male , pero' considera che sono efficienti se riesci a creare una subroutine completamente eseguibile dal processore grafico , mettere un po' di istruzioni cuda sparse nel codice non aiuta, anzi il continuo cambio di contenso e' molto penalizzante.

A breve dovrebe uscire Bulldozzer di AMD che per calcoli come il tuo risulta imarazzantemente veloce.

cndcnd · 24-02-2011, 11:21

grazie ragazzi per il vostro aiuto. Nel frattempo ho scoperto un paio di cazzate (tra cui l'inizializzazione di un array assolutamente inutile) che portavano via un 30% del tempo ... Ci sono sicuramente dei margini di miglioramento anche sul programma ...

WarSide · 24-02-2011, 13:55

Quote:

Originariamente inviato da cndcnd

grazie ragazzi per il vostro aiuto. Nel frattempo ho scoperto un paio di cazzate (tra cui l'inizializzazione di un array assolutamente inutile) che portavano via un 30% del tempo ... Ci sono sicuramente dei margini di miglioramento anche sul programma ...

Inserisci dei checkpoint nel codice, profilalo per bene e lavora per ridurre la complessità dove possibile

cndcnd · 25-02-2011, 18:03

oltre al processore (opteron, pensavo di prendere un 6140 con 8 core), avete qualche suggerimento anche per il resto del sistema (scheda madre, memoria) ?

WarSide · 25-02-2011, 18:09

Quote:

Originariamente inviato da cndcnd

oltre al processore (opteron, pensavo di prendere un 6140 con 8 core), avete qualche suggerimento anche per il resto del sistema (scheda madre, memoria) ?

Se non vuoi andare su sistemi preassemblati (es. dell / hp), dai una occhiata ai prodotti Tyan o Supermicro

Le ram vengono di conseguenza: prendi quelle certificate per la mobo che sceglierai.

troppotardi · 25-02-2011, 18:59

un I7-990 e 24gb di ram non bastano...?

KArl,

WarSide · 25-02-2011, 19:03

Quote:

Originariamente inviato da troppotardi

un I7-990 e 24gb di ram non bastano...?

KArl,

Sconsiglio caldamente l'immondizia di livello consumer, soprattutto se si devono fare calcoli intensivi è meglio orientrasi su prodotti enterprise

Poi c'è da dire che a certi livelli quasi costa meno la ram ecc rispetto a quella non ecc (fascia consumer).

@cndcnd: se devi prendere mobo/cpu per server dai una occhiata anche agli store tedeschi/olandesi, che in italia o sei una azienda o ti fanno una rapina a mano armata

troppotardi · 25-02-2011, 23:36

E' facile Sconsigliare... proponi degli esempi invece!

KArl,

22-02-2011, 13:54	#1
cndcnd Junior Member Iscritto dal: Feb 2011 Messaggi: 13	processore/mother borard più veloce per spostamento arrays? Ciao a tutti, Sono un ingegnere e mi occupo di modelli informatici dello sviluppo embrionale. Ho scritto un programma che, appunto, simula lo sviluppo embrionale di una serie di organi e parti anatomiche. La caratteristica principale del programma è la manipolazione di enormi array tridimensionali, che devono essere spostati da una parte all’altra della memoria. Satvo cercando di capire qual è la migliore piattaforma hardware per questo tipo di applicazioni. Finora ho lavorato con una CPU “general purpose” (Intel Core 2 Quad Processor Q9550), che tuttavia pone dei limiti alla dimensione della griglia. 80 x 80 x 80 è la dimensione massima: andando oltre i tempi di calcolo diventano eccessivi (le realizzazioni seguenti: http://www.artembryo.org/xx_Osx/zx_brain_dust_x0.avi http://www.artembryo.org/xx_Osx/zx_stomach1_dust_x2.avi ad esempio, richiedono in media 4-5 giorni di elaborazione per essere completate). Mi chiedevo quindi se esistono dei processori paralleli (il programma lo è) più adatti allo scopo. Grazie, Alessandro

22-02-2011, 14:05	#2
WarSide Senior Member Iscritto dal: Oct 2008 Messaggi: 10409	Prima di parlare di hardware, domanda fondamentale: come hai scritto il programma? Java? C? Hai controllato per bene gli algoritmi per cercare di ridurne la complessità? Comunque sicuramente avresti vantaggi orientandoti su una piattaforma server multi socket e multicore (con eventuale tri/quad channel per le memorie) __________________ Le mie 80+ Trattative del Mercatino Vendo: Case Koolink midtower con pannelli fonoassorbenti Ultima modifica di WarSide : 22-02-2011 alle 14:08.

23-02-2011, 11:30	#8
Athlon Senior Member Iscritto dal: Oct 1999 Messaggi: 3780	Un buon aiuto a capire il problema puo' venire se mentre fai girare i programmi fai un monitoraggio dell' uso delle risorse. Ad esempio hai controllato se per caso quando all' aumentare della dimesione della griglia non stai andando in swap? Se il tuo algoritmo e' parallelizzabile piu' che puntare ad una sola CPU putente ti conviene puntare su tante macchine piu' economiche. Anche l'idea di usare i processori grafici non e' male , pero' considera che sono efficienti se riesci a creare una subroutine completamente eseguibile dal processore grafico , mettere un po' di istruzioni cuda sparse nel codice non aiuta, anzi il continuo cambio di contenso e' molto penalizzante. A breve dovrebe uscire Bulldozzer di AMD che per calcoli come il tuo risulta imarazzantemente veloce. __________________ CIAO FABRIZIO .. CORRI TRA LE NUVOLE COME FOSSERO DUNE

25-02-2011, 18:59	#13
troppotardi Senior Member Iscritto dal: Oct 2005 Messaggi: 1631	un I7-990 e 24gb di ram non bastano...? KArl, __________________

25-02-2011, 23:36	#15
troppotardi Senior Member Iscritto dal: Oct 2005 Messaggi: 1631	E' facile Sconsigliare... proponi degli esempi invece! KArl, __________________ Ultima modifica di troppotardi : 28-02-2011 alle 10:05.

22-02-2011, 15:33	#3
cndcnd Junior Member Iscritto dal: Feb 2011 Messaggi: 13	Il programma è scritto in C++ e penso che sia abbastanza ottimizzato (a scapito della chiarezza). Il maggior beneficio l'ho avuto compattando i dati in modo da minimizzare il numero di miss della cache, che nel q9550 è 12 MB (almeno è quello che penso). Potresti essere più specifico sulla piattaforma hardware? Lo I7-990 potrebbe essere un'opzione? Con quale scheda madre e quale memoria? Grazie

23-02-2011, 09:37	#6
cndcnd Junior Member Iscritto dal: Feb 2011 Messaggi: 13	No, figurati. Il programma è compilato con gcc con libreria matematica standard (-lm) e calcolo parallelo openmp. Il “kernel” del programma è rappresentato da operazioni di “proliferazione cellulare” di forma ellissoidale, in cui i voxel di un ellissoide vengono colorati con un colore specifico. Il programma utilzza un algoritmo genetico per sperimentare diverse combinazioni di tali operazioni e trovare quella che produce il risultato migliore. Di conseguenza effettua un numero molto grande di queste operazioni. Per avere un’idea, puoi immaginare una griglia tridimensionale 100x100x100 in cui continuamente ellissoidi diversi per dimensione e orientazione vengono colorati e cancellati. L’operazione effettuata sul singolo voxel è invece banale (un int che cambia valore). Vettorizzare gli accessi alla memoria? Come si fa? Le mie conoscenze informatiche purtroppo non sono elevatissime :-( Secondo te è possibile ottenere una consulenza specifica? (anche a pagamento ovviamente). A chi potrei rivolgermi? Grazie, Alessandro

24-02-2011, 11:21	#9
cndcnd Junior Member Iscritto dal: Feb 2011 Messaggi: 13	grazie ragazzi per il vostro aiuto. Nel frattempo ho scoperto un paio di cazzate (tra cui l'inizializzazione di un array assolutamente inutile) che portavano via un 30% del tempo ... Ci sono sicuramente dei margini di miglioramento anche sul programma ...

25-02-2011, 18:03	#11
cndcnd Junior Member Iscritto dal: Feb 2011 Messaggi: 13	oltre al processore (opteron, pensavo di prendere un 6140 con 8 core), avete qualche suggerimento anche per il resto del sistema (scheda madre, memoria) ?

Strumenti
Mostra una versione stampabile Invia questa pagina per email