Compilatore Intel e disparità di trattamento verso processori AMD/VIA

[blackshard]

Originariamente inviato da bjt2

Se leggi bene il sito di Agner la cosa è ancora più semplice : l'eseguibile principale e ogni libreria compilata con il compilatore INTEL esegue allo startup (del programma o della libreria) una routine con un dato nome, che setta una data variabile globale che indica qualce code path eseguire. Agner Fog ha già scritto un programma per patchare questo comportamento... Basta creare una funzione con lo stesso nome che setta la variabile a seconda delle capacità REALI della CPU... Questo perchè il linker da la precedenza alla funzione scritta dall'utente... In alternativa, per programmi già compilati, mi pare che lui o chi per lui abbia già sviluppato un eseguibile che patcha gli eseguibili per fare la stessa cosa...

Mmmh, interessante. Non riesco a trovare il riferimento dove si parlava del fatto, ma forse era nel pdf per l'ottimizzazione in C++. Ora do' un'occhio...

edit:
ecco la citazione:

Intel compilers have a feature for making multiple versions of a function for different Intel
CPUs. It uses the dispatch on every call method. When the function is called, a dispatch is
made to the right version of the function. The automatic dispatching can be made for all
suitable functions in a module by compiling the module with, e.g. the option /QaxAVX or
-axAVX.

Optimizing Software in C++, pagina 129, Agner Fog

[Мир]

Originariamente inviato da bjt2

Secondo quel link, il compilatore Open64 ha fatto passi da gigante!

Si, pare che sia valido... Prometto di fare dei test, che comunque servono a me (calcolo scientifico), per capire se su opteron sia meglio Intel ifort/icc 11.1 oppure Open64. Non appena mi arrivano i pezzi e riesco ad assemblare il tutto

[Pihippo]

Originariamente inviato da Мир

Si, pare che sia valido... Prometto di fare dei test, che comunque servono a me (calcolo scientifico), per capire se su opteron sia meglio Intel ifort/icc 11.1 oppure Open64. Non appena mi arrivano i pezzi e riesco ad assemblare il tutto

Ciao
Open 64 ha un flag interessantissimo -MSO che impratica ottimizza l'utilizzo di mem bandwidth, se il codice che eseguirai, è ricco di data parallelism cosa che penso che sia, potresti provare questo flag insieme a -LNO che esegue dei loop unrolling abbastanza aggressivi.

[Мир]

Originariamente inviato da Pihippo

Ciao
Open 64 ha un flag interessantissimo -MSO che impratica ottimizza l'utilizzo di mem bandwidth, se il codice che eseguirai, è ricco di data parallelism cosa che penso che sia, potresti provare questo flag insieme a -LNO che esegue dei loop unrolling abbastanza aggressivi.

Ciao, si, si, si... pensavo proprio al flag -mso che è pure usato estesamente nei test di spec.org... siccome avrò a che fare con CPU multicore sulla stessa MB.

Nel programma che dovrò compilare consigliano di usare più OpenMPI (per CPU che risiedono su MB diverse) che OpenMP (CPU sulla stessa MB). Non sono convintissimo che sia la soluzione più performante. Pure in questo caso dovrò fare dei test (triplo sigh!).
Ma voglio proprio spremere ben benino i 48 core che avrò a disposizione

Edit: si, il codice è zeppo di parallelism (Quantum espresso), ma penso sia già ottimizzato per lavorare in parallelo, per cui a volte spingere troppo in là le ottimizzazioni del compilatore portano ad un degrado delle performances... altri test...

[Pihippo]

Originariamente inviato da Мир

Ciao, si, si, si... pensavo proprio al flag -mso che è pure usato estesamente nei test di spec.org... siccome avrò a che fare con CPU multicore sulla stessa MB.

Nel programma che dovrò compilare consigliano di usare più OpenMPI (per CPU che risiedono su MB diverse) che OpenMP (CPU sulla stessa MB). Non sono convintissimo che sia la soluzione più performante. Pure in questo caso dovrò fare dei test (triplo sigh!).
Ma voglio proprio spremere ben benino i 48 core che avrò a disposizione

Edit: si, il codice è zeppo di parallelism (Quantum espresso), ma penso sia già ottimizzato per lavorare in parallelo, per cui a volte spingere troppo in là le ottimizzazioni del compilatore portano ad un degrado delle performances... altri test...

Ciao
OpenMPI è ottimo come libreria di passing, teoricamente puoi combinare tutte e due comunque! OpenMP come api di esecuzione locale è molto buona ovvero ti consente di parallelizzare per più cores di cpu, visto che ovviamente si sta parlando di architettura di memoria shared. OpenMPI lo vedrei più se avessi diversi nodi di computing , credo che un architettura di memoria distribuita sia la migliore in questi casi, ma probabilmente sto facendo un pò di confusione io Cioè in due parole come mai ti hanno consigliato OpenMPI?

[Мир]

Originariamente inviato da Pihippo

Ciao
OpenMPI è ottimo come libreria di passing, teoricamente puoi combinare tutte e due comunque! OpenMP come api di esecuzione locale è molto buona ovvero ti consente di parallelizzare per più cores di cpu, visto che ovviamente si sta parlando di architettura di memoria shared. OpenMPI lo vedrei più se avessi diversi nodi di computing , credo che un architettura di memoria distribuita sia la migliore in questi casi, ma probabilmente sto facendo un pò di confusione io Cioè in due parole come mai ti hanno consigliato OpenMPI?

No, non fai confusione e si, è possibile combinare tutti e due. Ci ho già provato (basta settare una variabile d'ambiente per scegliere il numero di CPU locali che usa OpenMP), ma pare che la cosa funzioni bene solo se hai dei nodi, come dici tu, cioè OpenMPI sui nodi e OpenMP sui core locali. Per questioni (credo) legate alle ottimizzazioni interne del programma sembra che lanciare N processi indipendenti anche su core locali (usando quindi OpenMPI) sia più efficiente di OpenMP. In questo modo OpenMPI (credo) usa processi indipendenti e quindi (però) usa tanta RAM (N volte il singolo processo).
Insomma, devo provare Intel, Open64, OpenMP e OpenMPI, 2 compilatori e 2 parallelizations, per un totale di 4 combinazioni...

Non vedo l'ora di cominciare

[Pihippo]

Originariamente inviato da Мир

No, non fai confusione e si, è possibile combinare tutti e due. Ci ho già provato (basta settare una variabile d'ambiente per scegliere il numero di CPU locali che usa OpenMP), ma pare che la cosa funzioni bene solo se hai dei nodi, come dici tu, cioè OpenMPI sui nodi e OpenMP sui core locali. Per questioni (credo) legate alle ottimizzazioni interne del programma sembra che lanciare N processi indipendenti anche su core locali (usando quindi OpenMPI) sia più efficiente di OpenMP. In questo modo OpenMPI (credo) usa processi indipendenti e quindi (però) usa tanta RAM (N volte il singolo processo).
Insomma, devo provare Intel, Open64, OpenMP e OpenMPI, 2 compilatori e 2 parallelizations, per un totale di 4 combinazioni...

Non vedo l'ora di cominciare

Ciao
Dunque, ragioniamo un pochino, è da un pò che non ci sbatto i denti su:
OpenMP: Architettura di memoria shared, quindi di solito un processo da cui si originano un paio di thread i quali condividono lo stesso indirizzo di memoria gli handler dei file (almeno). Quindi questi due thread vengono "spawnati" su 2 cores di una cpu, perchè siano eseguiti in paralello di solito utilizza istruzioni semaforo e lock vari, quindi dovrebbe essere abbastanza semplice cavarci qualcosina fuori.
OpenMPI: Architettura di memoria distribuita, dunque ogni processo è per i cacchi suoi ed ogni processo non sa cosa combina l'altro.
Chiarito ciò, potresti fare cosi, dopo che sbarelli un pò con i vari compilers potresti, se hai 2 o più processori, e mi sembra di intuire che questo sia il caso, potresti utilizzare OpenMP per saturare i cores di cui disponi con quanti thread e sincronizzare tutto tra le varie cpu con OpenMPI. N.B
Spero tu abbia tonnellate di ram

[Мир]

Originariamente inviato da Pihippo

Ciao
N.B
Spero tu abbia tonnellate di ram

64 Gb di RAM e 48 core

[Pihippo]

Originariamente inviato da Мир

64 Gb di RAM e 48 core

Ciao
Alla faccia !
con 64gb di ram puoi utilizzare l'approccio di cui abbiamo parlato prima, armati di santa pazienza e divertiti

[webking]

Eppure ragazzi il mio parere è che Intel fa bene. Non c'è niente da dire a riguardo, il compilatore lo fanno loro e AMD deve ringraziare che funzioni anche per i propri processori (ovviament eperchè supportano lo stesso set di istruzioni). Ad ogni modo rimane il fatto che Intel ha investito su questa cosa ed è giusto che ne ricavi dei vantaggi.

[maumau138]

Originariamente inviato da webking

Eppure ragazzi il mio parere è che Intel fa bene. Non c'è niente da dire a riguardo, il compilatore lo fanno loro e AMD deve ringraziare che funzioni anche per i propri processori (ovviament eperchè supportano lo stesso set di istruzioni). Ad ogni modo rimane il fatto che Intel ha investito su questa cosa ed è giusto che ne ricavi dei vantaggi.

Infatti nessuno pretende che venga ottimizzato per gli AMD, il punto è che il compilatore Intel penalizza volutamente tutte le CPU che non sono Intel, cosa che nel mondo reale si chiama concorrenza sleale.
Facendo così Intel guadagna un ingiustificato vantaggio nell'esecuzione di software compilati con il loro compilatore (scusate la cacofonia), così come è successo anche per software di benchmark (PC Mark) che per loro stessa natura dovrebbero essere imparziali.
Che ne sappiamo di quanto l'attuale vantaggio dei processori Intel sugli AMD sia dovuto al compilatore difettoso e quanto dovuto alle effettive migliorie architetturali?

[walter sampei]

dico solo una cosa: secondo un noto sw di benchmark, un q6600 a 2.6 ghz e' piu' veloce di quasi il 50% di un phenom 2 a 3.2 ghz... mi sembra un po' assurdo.

personalmente, con il patcher ho notato un aumento di velocita' nei programmi che usavo col mio portatile con turion x2, quindi qualcosa che non va in effetti c'e'...

[medicina]

Da notare che il compilatore di Intel è un prodotto commerciale, non gratuito. Si suppone che i suoi clienti non vogliano una discriminazione di questo genere, ma un compilatore che funzioni al meglio in tutte le circostanze. Quello che ha fatto Intel è non curarsi di portare una serie di importanti ottimizzazioni ad altre CPU, una cosa che non gli avrebbe richiesto particolari sforzi. Senza dubbio hanno tutto il diritto di cercare di dare il massimo, concentrare i loro sforzi tenendo presente come prioritari alcuni obiettivi a discapito di altri, ma a tutto si può stabilire un limite e allora le critiche non sono che inevitabili...

[maumau138]

Originariamente inviato da medicina

Da notare che il compilatore di Intel è un prodotto commerciale, non gratuito. Si suppone che i suoi clienti non vogliano una discriminazione di questo genere, ma un compilatore che funzioni al meglio in tutte le circostanze. Quello che ha fatto Intel è non curarsi di portare una serie di importanti ottimizzazioni ad altre CPU, una cosa che non gli avrebbe richiesto particolari sforzi. Senza dubbio hanno tutto il diritto di cercare di dare il massimo, concentrare i loro sforzi tenendo presente come prioritari alcuni obiettivi a discapito di altri, ma a tutto si può stabilire un limite e allora le critiche non sono che inevitabili...

Magari fosse solo questo, infatti non penso che si pretenda dal compilatore di AMD un'ottimizzazione per CPU Intel, quindi non lo chiederei neanche al Compilatore Intel; la cosa che fa girare le scatole è che loro si sono curati (e si sono premurati) di inserire del codice che penalizza le altre cpu, cioé prima di far partire il programma vedo se c'é un Intel e se non c'é ti azzoppo il software.
Poi magari io mi sono fatto un mazzo così per scrivere un codice efficiente e loro si permettono di fregarmi così, fossi una compagnia tipo Adobe avrei già fatto causa per danni.

[walter sampei]

quel che e' peggio, le "deottimizzazioni" causano non pochi problemi, vedasi programmi che su c2d della stessa intel vanno piu' lenti che non su un p4... e vai col liscio!!!

[Frarossi777]

Originariamente inviato da medicina

Da notare che il compilatore di Intel è un prodotto commerciale, non gratuito. Si suppone che i suoi clienti non vogliano una discriminazione di questo genere, ma un compilatore che funzioni al meglio in tutte le circostanze. Quello che ha fatto Intel è non curarsi di portare una serie di importanti ottimizzazioni ad altre CPU, una cosa che non gli avrebbe richiesto particolari sforzi. Senza dubbio hanno tutto il diritto di cercare di dare il massimo, concentrare i loro sforzi tenendo presente come prioritari alcuni obiettivi a discapito di altri, ma a tutto si può stabilire un limite e allora le critiche non sono che inevitabili...

Quoto.

Infatti il compilatore Intel è un prodotto commerciale non gratuito in cui
sono state impegnate e spese risorse umane e danaro e quindi è
semplicemente assurdo che si cerchi e si pretenda "equità" di trattamento.

Se Amd o VIA vuole pari condizioni, che partecipi economicamente al
progetto o al limite, che crei dalle sue tasche un compilatore alternativo
e ben ottimizzato per le loro cpu.

In ogni caso e fortunatamente, ci sono compilatori alternativi che permettono
di scavalcare queste restrizioni, quali ad esempio Microsoft Visual Studio o
gcc su Linux, non capisco "il perché" di questa pretesa etica che Intel lavori
per un prodotto che ottimizzi bene anche per gli altri?
Assurdo!

Questo thread è utile a far sapere che sono presenti queste limitazioni e
le "alternative" per superarle, per il resto credo che non serva ad altro
se non a creare flame.

Saluti

[medicina]

Originariamente inviato da Frarossi777

Quoto.

Infatti il compilatore Intel è un prodotto commerciale non gratuito in cui
sono state impegnate e spese risorse umane e danaro e quindi è
semplicemente assurdo che si cerchi e si pretenda "equità" di trattamento.

Come fai a "quotarmi" se ho scritto una cosa completamente opposta alla tua? Intel mette in commercio un software che è un compilatore C/C++ per architettura x86, i suoi clienti non comprano altro che questo, non un compilatore C/C++ per CPU Intel. Avranno in teoria qualcosa da lamentare se usandolo creano involontariamente qualche problema a loro clienti che non sono dotati di una CPU prodotta da Intel.

Veramente vorresti che AMD commercializzasse a sua volta un compilatore C/C++ che agisce tenendosi per sé alcune ottimizzazioni quando basterebbe pochissimo lavoro per abilitarle anche all'infuori del suo mondo?

Devi anche tenere presente che quello di Intel non è semplicemente uno dei tanti compilatori C, per cui basta rivolgersi ad altro per ottenere tutto quello che si vuole, è quello più avanzato. Il GCC o il Visual Studio che citi sono indietro.

Quello che è capitato, la mancata aggiunta di alcune delle ottimizzazioni offerte, è stato un incidente di percorso per loro, una loro superficialità, chiamiamola come vogliamo, ma non certo la scelta migliore per il prodotto che sviluppano.

[Frarossi777]

Originariamente inviato da medicina

Come fai a "quotarmi" se ho scritto una cosa completamente opposta alla tua? Intel mette in commercio un software che è un compilatore C/C++ per architettura x86, i suoi clienti non comprano altro che questo, non un compilatore C/C++ per CPU Intel. Avranno in teoria qualcosa da lamentare se usandolo creano involontariamente qualche problema a loro clienti che non sono dotati di una CPU prodotta da Intel.

Veramente vorresti che AMD commercializzasse a sua volta un compilatore C/C++ che agisce tenendosi per sé alcune ottimizzazioni quando basterebbe pochissimo lavoro per abilitarle anche all'infuori del suo mondo?

Devi anche tenere presente che quello di Intel non è semplicemente uno dei tanti compilatori C, per cui basta rivolgersi ad altro per ottenere tutto quello che si vuole, è quello più avanzato. Il GCC o il Visual Studio che citi sono indietro.

Quello che è capitato, la mancata aggiunta di alcune delle ottimizzazioni offerte, è stato un incidente di percorso per loro, una loro superficialità, chiamiamola come vogliamo, ma non certo la scelta migliore per il prodotto che sviluppano.

Poco male, evidentemente ho frainteso
Non sono interessato a inutili flame e mi assumo tutte le colpe

Saluti

[blackshard]

Originariamente inviato da Frarossi777

Se Amd o VIA vuole pari condizioni, che partecipi economicamente al
progetto o al limite, che crei dalle sue tasche un compilatore alternativo
e ben ottimizzato per le loro cpu.

In ogni caso e fortunatamente, ci sono compilatori alternativi che permettono
di scavalcare queste restrizioni, quali ad esempio Microsoft Visual Studio o
gcc su Linux, non capisco "il perché" di questa pretesa etica che Intel lavori
per un prodotto che ottimizzi bene anche per gli altri?
Assurdo!

Chi passa di qui per caso e non riflette un secondo sulla cosa, spesso non comprende bene il punto del problema.

Il fatto (ben assodato, ben documentato, ed anche punito dall'organo antitrust americano) è che il compilatore Intel non è che non ottimizza il codice per le altre aziende, ma piuttosto disattiva *apposta* le ottimizzazioni per gli Intel se rileva un processore di altra marca.

Originariamente inviato da Frarossi777

Questo thread è utile a far sapere che sono presenti queste limitazioni e
le "alternative" per superarle, per il resto credo che non serva ad altro
se non a creare flame.

Saluti

Il tuo post serve a creare flame. Il thread serve per informare, ognuno è libero di leggerlo o di non leggerlo, e si può fare un'opinione propria e discuterne.

[Мир]

Comunque,
ho appena scaricato la nuova suite di intel che provero' sul 48 core (mi sta dando un po' di grattacapi l'installazione di linux...). Certo e' che l'installazione del Composer XE 2011 va via liscia liscia.

Open64 ho solo cominciato, ma ho delle difficolta' a capire come installarlo. Qualcuno ha dei suggerimenti?
I test che faro' taglieranno la testa al ...topo, come si dice... almeno per cio' che mi riguarda.
Certo e' che il gcc con la sua -march=native ha pure li delle belle ottimizzazioni... e vai di gfortran !!