[C++] Strano problema di ottimizzazione

[Unrue]

Ciao ragazzi, ho un problema apparentemente strano. Dunque, io ho una classe StandardBackprop, una ParNeuralNet ed un'altra Test.

La classe TrainingNet ha nel suo header un puntatore alla classe ParNeuralNet. Nella classe ParNeuralNet ho una funzione che è la causa del problema:

inline double ParNeuralNet::randomValue(double symmetric_range){
 	
 	double zero_one_value=((double)rand()/((double)(RAND_MAX)+1.0));
 	
 	double result=zero_one_value*(2.0*symmetric_range)-(symmetric_range);
 	
 	return result;
 	
   }

Ora, io richiamo tale funzione dalla classe Test con questa sintassi :

 TrainingNet->Par->randomValue(range_max)

TrainingNet è un oggetto StandardBackprop, Par, oggetto ParNeuralNet. La classe StandardBackprop è figlio della classe BackProp, ParNeuralNet invece è una classe singola.

Il problema è che se compilo senza ottimizzazioni, tutto funziona liscio. Se invece metto l'ottimizzazione -O1, -O2, -O3, mi dice "undefined reference " a tale funzione.

Se però la stessa funzione, invece di dichiararla inline, la definisco direttamente nell'header di ParNeuralNet, compila anche con ottimizzazioni !

In pratica, sembra che,a causa della doppia referenziazione per accedere alla funzione, non riesca a fare l'inline direttamente. Avete qualche spiegazione di ciò? Grazie.

[kk3z]

Le funzioni inline le devi definire nell'header, devono essere disponibili subito al compilatore per essere espanse (o no, lo decide il compilatore)

Se però la stessa funzione, invece di dichiararla inline, la definisco direttamente nell'header di ParNeuralNet, compila anche con ottimizzazioni !

Se la definisci nella definizione della classe, viene comunque considerata inline anche se non lo spefichi

[Unrue]

Originariamente inviato da kk3z

Le funzioni inline le devi definire nell'header, devono essere disponibili subito al compilatore per essere espanse (o no, lo decide il compilatore)



Se la definisci nella definizione della classe, viene comunque considerata inline anche se non lo spefichi

Ok, ma ho altre funzioni inline nel codice, e non mi compare lo stesso errore. Solo sulla funzione sopra menzionata. Perchè questo ?

[kk3z]

EDIT: modifico e mi crea un'altro post..

[kk3z]

Ma tutte queste funzioni inline le chiami nello stesso modo (cioè dal puntatore di una classe che chiama una funziona di un'altra classe dal suo puntatore )?

[Unrue]

Originariamente inviato da kk3z

Ma tutte queste funzioni inline le chiami nello stesso modo (cioè dal puntatore di una classe che chiama una funziona di un'altra classe dal suo puntatore )?

No, solo quella. E' lì il problema ?

[fek]

Originariamente inviato da Unrue

Ok, ma ho altre funzioni inline nel codice, e non mi compare lo stesso errore. Solo sulla funzione sopra menzionata. Perchè questo ?

Devi dichiarare la funzione inline nell'header file. Compila senza ottimizzazioni perche' il compilatore ignora l'inline, mentre con ottimizzazioni cerca la definizione della funzione e non la trova. Che compilatore stai usando?

Ma soprattutto: perche' hai dichiarato quella funzione inline?

[Unrue]

Originariamente inviato da fek

Che compilatore stai usando?

mpicxx, è un wrapper MPI per g++

Originariamente inviato da fek

Ma soprattutto: perche' hai dichiarato quella funzione inline?

Perchè è chiamata moltissime volte ed è corta, quindi è bene dichiararla inline

[fek]

Originariamente inviato da Unrue

mpicxx, è un wrapper MPI per g++

Ok, perche' il comportamento del compilatore mi pare un po' strano.

Perchè è chiamata moltissime volte ed è corta, quindi è bene dichiararla inline

Hai un qualche profiling che dimostri che dichiarare quella funzione inline e' un'ottimizzazione misurabile oppure e' solo una tua ipotesi?

[ilsensine]

Originariamente inviato da fek

Ok, perche' il comportamento del compilatore mi pare un po' strano.

Unrue non è stato chiaro su dove ha messo l'implementazione, se è in un file sorgente allora il comportamento è corretto...

[fek]

Originariamente inviato da ilsensine

Unrue non è stato chiaro su dove ha messo l'implementazione, se è in un file sorgente allora il comportamento è corretto...

Si', per questo non mi era chiaro dove voleva mettere il corpo della funzione.

Edit:
Contr'ordine, il comportamento del compilatore non e' conforme allo standard.

In questa situazione:

.hpp

class A
{
public:
	inline void m();
};

.cpp

inline void A::m()
{
}

Il compilatore deve dare un "undefined reference" sia con ottimizzazioni attivate sia con ottimizzazioni disattivate se m e' referenziato in un'unita' di compilazione diversa da dove e' definito. Non deve semplicemente assumere il non inline quando le ottimizzazioni sono disattivate.
Se una funzione e' dichiarata inline in un'unita' di compilazione, il corpo deve essere definito in quell'unita'. Il comportamento del compilatore in relazione alla semantica del codice non deve cambiare a seconda delle ottimizzazioni.

[Unrue]

Originariamente inviato da fek

Si', per questo non mi era chiaro dove voleva mettere il corpo della funzione.

Edit:
Contr'ordine, il comportamento del compilatore non e' conforme allo standard.

In questa situazione:

.hpp

class A
{
public:
	inline void m();
};

.cpp

inline void A::m()
{
}

Il compilatore deve dare un "undefined reference" sia con ottimizzazioni attivate sia con ottimizzazioni disattivate se m e' referenziato in un'unita' di compilazione diversa da dove e' definito. Non deve semplicemente assumere il non inline quando le ottimizzazioni sono disattivate.
Se una funzione e' dichiarata inline in un'unita' di compilazione, il corpo deve essere definito in quell'unita'. Il comportamento del compilatore in relazione alla semantica del codice non deve cambiare a seconda delle ottimizzazioni.

Ecco a me è proprio questo che non torna. Ok, ho sbagliato a mettere il corpo della funzione inline non nell'header. Ma se non mettevo il flag -O2 non me ne sarei mai accorto!!

Anche icc della Intel ha lo stesso comportamento. Mi pare strano che due compilatori diversi hanno questo comportamento.

[Unrue]

Originariamente inviato da fek

Hai un qualche profiling che dimostri che dichiarare quella funzione inline e' un'ottimizzazione misurabile oppure e' solo una tua ipotesi?

Non ho fatto questo controllo, ma una funzione chiamata qualche migliaio di volte, se non un milione di volte, e con un corpo di tre righe di codice.. beh se il compilatore non mette inline quella, allora credo che non ne metta mai nessuna

[fek]

Originariamente inviato da Unrue

Ecco a me è proprio questo che non torna. Ok, ho sbagliato a mettere il corpo della funzione inline non nell'header. Ma se non mettevo il flag -O2 non me ne sarei mai accorto!!

Anche icc della Intel ha lo stesso comportamento. Mi pare strano che due compilatori diversi hanno questo comportamento.

Ho provato per curiosita' con VS2005 e VS2008 ed entrambi danno correttamente l'errore anche senza ottimizzazioni attivate.

Curioso.

Comunque, non dichiarare quella funzione inline, tanto se il compilatore e' decente, nel 99.99% dei casi non cambia nulla a livello prestazionale

Originariamente inviato da Unrue

Non ho fatto questo controllo, ma una funzione chiamata qualche migliaio di volte, se non un milione di volte, e con un corpo di tre righe di codice.. beh se il compilatore non mette inline quella, allora credo che non ne metta mai nessuna

Guarda, ti puo' stupire la cosa, ma un buon compilatore quando conviene te la mette inline anche se non la dichiari inline (Whole Program Optimization).
In generale non dichiarare mai una funzione inline se non hai veramente un buon motivo per farlo, e solo dopo che hai provato empiricamente che mettere quella funzione inline ti dia effettivamente un guadagno.
Ancora piu' in generale, non fare mai assunzioni sulle ottimizzazioni, perche' scoprirai che nella maggior parte dei casi la tua assunzione e' sbagliata, spesso e volentieri quelle che pensiamo essere ottimizzazioni sono pessimizzazioni!
Che succede, ad esempio, se mettere una funzione inline ti causa frequenti cache miss in un loop e il codice va in realta' piu' piano? Non puoi saperlo finche' non misuri.

Mentre dichiarare una funzione online porta sicuramente degli svantaggi a livello di gestione del progetto. Innanzitutto ci hai gia' perso del tempo
Poi dichiarare metodi inline significa che ti devi portare eventualmente dietro nell'header file la dichiarazione di ogni eventuale oggetto che quella funzione usa. Poi, se dichiari un metodo virtuale inline carichi di moltissimo lavoro il linker. Ho visto situazioni in progetti grossi nelle quali togliere la dichiarazione inline da un metodo ha fatto scendere il tempo di link di minuti!

[Unrue]

Visto che più o meno sino in tema, vorrei proporre altri quesiti.

Vorrei forzare una funzione ad essere inline, però ha circa 20 righe di codice. Anche questa è richiamata spessissimo. Quale è il flag di g++ che fa questo ? Non lo trovo più.

Inoltre, a parte l'aumento di spazio dell'eseguibile, quali contro indicazioni ci sono a forzare un inlining?

Ed inoltre, quale era quel flag che faceva vedere se il g++ ha messo o no inline una funzione? Grazie

[Unrue]

Originariamente inviato da fek

Ho provato per curiosita' con VS2005 e VS2008 ed entrambi danno correttamente l'errore anche senza ottimizzazioni attivate.

Curioso.

Comunque, non dichiarare quella funzione inline, tanto se il compilatore e' decente, nel 99.99% dei casi non cambia nulla a livello prestazionale

No aspetta, intendi dire che lo fa comunque l'inlining? Perchè altrimenti ho l'overhead della chiamata a funzione, e non sarebbe sicuramente la stessa cosa a livello di prestazioni.

[fek]

Originariamente inviato da Unrue

Vorrei forzare una funzione ad essere inline, però ha circa 20 righe di codice. Anche questa è richiamata spessissimo. Quale è il flag di g++ che fa questo ? Non lo trovo più.

Se una funzione e' lunga, e' altamente probabile che anche forzando l'inline il compilatore lo ignori. Non perdere tempo e non dichiarare nulla inline, il tuo codice ti ringraziera', e molto probabilmente scoprirai che l'eseguibile risulta anche piu' veloce. Male che ti vada non cambia nulla.

[Unrue]

Originariamente inviato da fek

Che succede, ad esempio, se mettere una funzione inline ti causa frequenti cache miss in un loop e il codice va in realta' piu' piano? Non puoi saperlo finche' non misuri.

Mmm, ai cache miss non ci avevo pensato. Però penso basti fare un pò di prove no ?

[Unrue]

Originariamente inviato da fek

Se una funzione e' lunga, e' altamente probabile che anche forzando l'inline il compilatore lo ignori. Non perdere tempo e non dichiarare nulla inline, il tuo codice ti ringraziera', e molto probabilmente scoprirai che l'eseguibile risulta anche piu' veloce. Male che ti vada non cambia nulla.

Non lo so, però dichiarando un pò di funzioni inline e con il flag -O2 il codice va 3 volte più veloce !

E poi, quando una funzione è da considerarsi "lunga" per l'inline ? Questa cosa non l'ho mai capita.

[fek]

Originariamente inviato da Unrue

Mmm, ai cache miss non ci avevo pensato. Però penso basti fare un pò di prove no ?

Si', e' quello che ti dicevo
Prima fai le prove, fai il profiling, poi se proprio scopri he una funzione serve inline, dichiarala inline. Almeno io faccio cosi', non dichiaro mai nulla inline, poi se il profiler mi dice che una data funzione molto piccola mi sta portando via del tempo perche' il compilatore per qualche motivo ha deciso di non metterla inline da solo, allora, la forzo io. Negli ultimi cinque anni ho dichiarato inline... hmmm... forse due funzioni.