View Full Version : processore/mother borard più veloce per spostamento arrays?
Ciao a tutti,
Sono un ingegnere e mi occupo di modelli informatici dello sviluppo embrionale. Ho scritto un programma che, appunto, simula lo sviluppo embrionale di una serie di organi e parti anatomiche. La caratteristica principale del programma è la manipolazione di enormi array tridimensionali, che devono essere spostati da una parte all’altra della memoria.
Satvo cercando di capire qual è la migliore piattaforma hardware per questo tipo di applicazioni. Finora ho lavorato con una CPU “general purpose” (Intel Core 2 Quad Processor Q9550), che tuttavia pone dei limiti alla dimensione della griglia. 80 x 80 x 80 è la dimensione massima: andando oltre i tempi di calcolo diventano eccessivi (le realizzazioni seguenti:
http://www.artembryo.org/xx_Osx/zx_brain_dust_x0.avi
http://www.artembryo.org/xx_Osx/zx_stomach1_dust_x2.avi
ad esempio, richiedono in media 4-5 giorni di elaborazione per essere completate).
Mi chiedevo quindi se esistono dei processori paralleli (il programma lo è) più adatti allo scopo.
Grazie,
Alessandro
Prima di parlare di hardware, domanda fondamentale: come hai scritto il programma? Java? C?
Hai controllato per bene gli algoritmi per cercare di ridurne la complessità?
Comunque sicuramente avresti vantaggi orientandoti su una piattaforma server multi socket e multicore (con eventuale tri/quad channel per le memorie) :)
Il programma è scritto in C++ e penso che sia abbastanza ottimizzato (a scapito della chiarezza). Il maggior beneficio l'ho avuto compattando i dati in modo da minimizzare il numero di miss della cache, che nel q9550 è 12 MB (almeno è quello che penso).
Potresti essere più specifico sulla piattaforma hardware? Lo I7-990 potrebbe essere un'opzione? Con quale scheda madre e quale memoria?
Grazie
Ciao a tutti,
Sono un ingegnere e mi occupo di modelli informatici dello sviluppo embrionale. Ho scritto un programma che, appunto, simula lo sviluppo embrionale di una serie di organi e parti anatomiche. La caratteristica principale del programma è la manipolazione di enormi array tridimensionali, che devono essere spostati da una parte all’altra della memoria.
Satvo cercando di capire qual è la migliore piattaforma hardware per questo tipo di applicazioni. Finora ho lavorato con una CPU “general purpose” (Intel Core 2 Quad Processor Q9550), che tuttavia pone dei limiti alla dimensione della griglia. 80 x 80 x 80 è la dimensione massima: andando oltre i tempi di calcolo diventano eccessivi (le realizzazioni seguenti:
http://www.artembryo.org/xx_Osx/zx_brain_dust_x0.avi
http://www.artembryo.org/xx_Osx/zx_stomach1_dust_x2.avi
ad esempio, richiedono in media 4-5 giorni di elaborazione per essere completate).
Mi chiedevo quindi se esistono dei processori paralleli (il programma lo è) più adatti allo scopo.
Grazie,
Alessandro
Ciao
Scusami se ti sembrerà una checklist:
Che liberia di math hai utilizzato?
Hai provato a vettorizzare gli accessi alla memoria? E' possibile? Il kernel principale in cosa consiste ?(provo ad indovinare moltiplicazioni ed addizioni di matrici non sparse ?)
Se è possibile fare tutto ciò, allora ti conviene fare un porting su cuda\opencl. Altrimenti un sistema 2p opteron 6100.
Ciao
Scusami se ti sembrerà una checklist:
Che liberia di math hai utilizzato?
Hai provato a vettorizzare gli accessi alla memoria? E' possibile? Il kernel principale in cosa consiste ?(provo ad indovinare moltiplicazioni ed addizioni di matrici non sparse ?)
Se è possibile fare tutto ciò, allora ti conviene fare un porting su cuda\opencl. Altrimenti un sistema 2p opteron 6100.
quoto :)
No, figurati. Il programma è compilato con gcc con libreria matematica standard (-lm) e calcolo parallelo openmp.
Il “kernel” del programma è rappresentato da operazioni di “proliferazione cellulare” di forma ellissoidale, in cui i voxel di un ellissoide vengono colorati con un colore specifico. Il programma utilzza un algoritmo genetico per sperimentare diverse combinazioni di tali operazioni e trovare quella che produce il risultato migliore. Di conseguenza effettua un numero molto grande di queste operazioni. Per avere un’idea, puoi immaginare una griglia tridimensionale 100x100x100 in cui continuamente ellissoidi diversi per dimensione e orientazione vengono colorati e cancellati. L’operazione effettuata sul singolo voxel è invece banale (un int che cambia valore).
Vettorizzare gli accessi alla memoria? Come si fa? Le mie conoscenze informatiche purtroppo non sono elevatissime :-(
Secondo te è possibile ottenere una consulenza specifica? (anche a pagamento ovviamente). A chi potrei rivolgermi?
Grazie,
Alessandro
No, figurati. Il programma è compilato con gcc con libreria matematica standard (-lm) e calcolo parallelo openmp.
Il “kernel” del programma è rappresentato da operazioni di “proliferazione cellulare” di forma ellissoidale, in cui i voxel di un ellissoide vengono colorati con un colore specifico. Il programma utilzza un algoritmo genetico per sperimentare diverse combinazioni di tali operazioni e trovare quella che produce il risultato migliore. Di conseguenza effettua un numero molto grande di queste operazioni. Per avere un’idea, puoi immaginare una griglia tridimensionale 100x100x100 in cui continuamente ellissoidi diversi per dimensione e orientazione vengono colorati e cancellati. L’operazione effettuata sul singolo voxel è invece banale (un int che cambia valore).
Vettorizzare gli accessi alla memoria? Come si fa? Le mie conoscenze informatiche purtroppo non sono elevatissime :-(
Secondo te è possibile ottenere una consulenza specifica? (anche a pagamento ovviamente). A chi potrei rivolgermi?
Grazie,
Alessandro
Ciao
Molto interessante come programma e ricerca.
Comunque ti devo delle scuse poichè non mi son spiegato per nulla.
Con vettorizzare gli accessi alla memoria, intendevo massimizzare (come appunto in un vettore) la bw, ovvero caricare tutta la roba che ti serve in un singolo accesso e ridurre al minimo eventuali ritorni alla ram. Non è facilissimo è probabilmente mi son spiegato male pure io, ed è altamente probabile che abbia sbagliato a capire qualcosina :cry: .
Comunque qui c'è qualcosina in più:
http://developer.amd.com/documentation/articles/Pages/OpenCL-Optimization-Case-Study_2.aspx
Un buon aiuto a capire il problema puo' venire se mentre fai girare i programmi fai un monitoraggio dell' uso delle risorse.
Ad esempio hai controllato se per caso quando all' aumentare della dimesione della griglia non stai andando in swap?
Se il tuo algoritmo e' parallelizzabile piu' che puntare ad una sola CPU putente ti conviene puntare su tante macchine piu' economiche.
Anche l'idea di usare i processori grafici non e' male , pero' considera che sono efficienti se riesci a creare una subroutine completamente eseguibile dal processore grafico , mettere un po' di istruzioni cuda sparse nel codice non aiuta, anzi il continuo cambio di contenso e' molto penalizzante.
A breve dovrebe uscire Bulldozzer di AMD che per calcoli come il tuo risulta imarazzantemente veloce.
grazie ragazzi per il vostro aiuto. Nel frattempo ho scoperto un paio di cazzate (tra cui l'inizializzazione di un array assolutamente inutile) che portavano via un 30% del tempo ... Ci sono sicuramente dei margini di miglioramento anche sul programma ...
grazie ragazzi per il vostro aiuto. Nel frattempo ho scoperto un paio di cazzate (tra cui l'inizializzazione di un array assolutamente inutile) che portavano via un 30% del tempo ... Ci sono sicuramente dei margini di miglioramento anche sul programma ...
Inserisci dei checkpoint nel codice, profilalo per bene e lavora per ridurre la complessità dove possibile ;)
oltre al processore (opteron, pensavo di prendere un 6140 con 8 core), avete qualche suggerimento anche per il resto del sistema (scheda madre, memoria) ?
oltre al processore (opteron, pensavo di prendere un 6140 con 8 core), avete qualche suggerimento anche per il resto del sistema (scheda madre, memoria) ?
Se non vuoi andare su sistemi preassemblati (es. dell / hp), dai una occhiata ai prodotti Tyan o Supermicro ;)
Le ram vengono di conseguenza: prendi quelle certificate per la mobo che sceglierai.
troppotardi
25-02-2011, 19:59
un I7-990 e 24gb di ram non bastano...?
:cool:
KArl,
un I7-990 e 24gb di ram non bastano...?
:cool:
KArl,
Sconsiglio caldamente l'immondizia di livello consumer, soprattutto se si devono fare calcoli intensivi è meglio orientrasi su prodotti enterprise ;)
Poi c'è da dire che a certi livelli quasi costa meno la ram ecc rispetto a quella non ecc (fascia consumer). :D
@cndcnd: se devi prendere mobo/cpu per server dai una occhiata anche agli store tedeschi/olandesi, che in italia o sei una azienda o ti fanno una rapina a mano armata ;)
troppotardi
26-02-2011, 00:36
E' facile Sconsigliare... proponi degli esempi invece!
:cool:
KArl,
vBulletin® v3.6.4, Copyright ©2000-2026, Jelsoft Enterprises Ltd.