boost::python ed embedding

[marco.r]

C'e' qualcuno che si e' gia' cimentato con boost:ython per fare l'embedding di un interprete python in una applicazione C++ ?
Non riesco a capire come inizializzare correttamente l'interprete o, forse, come caricare i moduli.
Esempio: questo dovrebbe essere il codice che inizializza l'interprete con un ambiente vuoto, carica del codice da file esterno, e poi cerca di estrarne alcuni valori

    Py_Initialize();
    dict global;
    object result = exec_file("test.py", global, global);
    object test = global['x'];
    cout << (extract< int >(test)) << endl;
    object test2 = global["Klass"];
    object instance = test2();
    cout << (extract< int >(instance.attr("go")())) << endl;

Se nel codice che carico ho solo valori la cosa funzione, se pero' c'e' qualcosa di piu' complesso, come la definizione di una classe, allora ottengo un errore dall'interprete, che dice di non trovare il nome "__name__". Immagino che l'ambiente iniziale sia "troppo vuoto" e che lo debba prima riempire con qualcosa di minimale, ma cosa ? La documentazione a riguardo mi sembra piuttosto lacunosa.

[cdimauro]

Non ti nascondo che la cosa interesserebbe anche me, perché in azienda utilizziamo alcune applicazioni scritte in C/C++ che hanno un loro linguaggio di script (penoso) che vorrei sostituire con Python.

La domanda sorge spontanea: è strettamente necessario utilizzare la libreria boost per poter "inglobare" Python in un'applicazione C/C++? Perché ricordo che per installarla e configurarla con Windows e Visual Studio 2005 Express Edition è stato un tantino complicato (inoltre, se possibile, vorrei poter fare a meno di queste librerie enormi, composte da migliaia e migliaia di piccoli file).

Comunque in questo periodo non ho molto tempo, ma posso do un'occhiata alla documentazione e vado a controllare i sorgenti di alcune applicazioni che utilizzano Python embedded (mi viene in mente Blender al momento).

[andbin]

Originariamente inviato da cdimauro

La domanda sorge spontanea: è strettamente necessario utilizzare la libreria boost per poter "inglobare" Python in un'applicazione C/C++?

Ti rispondo io: né boost né altre librerie C/C++ specifiche sono necessarie per poter incorporare (o estendere) l'interprete Python.

Vedere qui: http://docs.python.org/ext/ext.html

[cdimauro]

Ottimo!!! Ti ringrazio per il magnifico link sull'argomento (c'è pure un demo a disposizione ).

Mi pareva strano che bisognava rivolgersi a delle librerie che sono degli autentici pachidermi.

"Simple is better"

[marco.r]

Innanzi tutto rispondo alla mia domanda.
A quanto pare non funziona mettendo tutto vuoto, bisogna importare il modulo principale, e operare da li'.

    Py_Initialize();
    pythonModule = object(handle<>(borrowed(PyImport_AddModule("__main__"))));
    global = pythonModule.attr("__dict__");
    object result = exec_file("test.py", global, global);
    object test = global['x'];
    cout << (extract< int >(test)) << endl;
    object test2 = global["Klass"];
    object instance = test2();
    cout << (extract< int >(instance.attr("go")())) << endl;

In questo modo sembra andare, anche se non capisco perche' debba usare PyImport invece che boost:ython::import... mah.

[andbin]

Originariamente inviato da marco.r

In questo modo sembra andare, anche se non capisco perche' debba usare PyImport invece che boost:ython::import... mah.

Premetto che non conosco boost ... comunque ho visto che esiste una libreria chiamata Boost.Python, che consente l'interoperabilità tra C++ e Python. Una cosa è usare questa libreria e quindi usare ciò che è definito come funzioni, namespace o altro in tale libreria. E una cosa è voler usare direttamente le funzioni fornite dall'interprete Python.

[marco.r]

Originariamente inviato da cdimauro

La domanda sorge spontanea: è strettamente necessario utilizzare la libreria boost per poter "inglobare" Python in un'applicazione C/C++? Perché ricordo che per installarla e configurarla con Windows e Visual Studio 2005 Express Edition è stato un tantino complicato (inoltre, se possibile, vorrei poter fare a meno di queste librerie enormi, composte da migliaia e migliaia di piccoli file).

Come gia' detto da andbin non e' necessario. Il motivo principale per cui stavo provando con le boost e' che forniscono diverso codice che altrimenti mi dovrei scrivere io, come ad esempio la gestione della conversione delle eccezioni, che diventa abbastanza delicata quando hai codice C++ che chiama codice Python che chiama una classe C++ che lancia un'eccezione. Aggiungiamo pure una gestione piu' automatica delle reference e la possiblita' di derivare classi Python da quelle C++ e viceversa, e capisci i motivi del mio tentativo. Avevo dato una occhiata a come fare l'embedding "da me", ma gli esempio mi hanno spaventato (http://docs.python.org/ext/pure-embedding.html)


Il problema e' che la documentazione per le boost:ython e' assolutamente scadente, perlomeno quel che riguarda l'embedding, non solo e' poca, ma in piu' punti obsoleta, per cui hai il programmino di esempio che fa una cosa, il tutorial un'altra e la guida di riferimento un'altra ancora.
Ad esempio e' si' scritto che le eccezioni se le gestisce lui, ma non ho trovato da nessuna parte il fatto che quando l'eccezione la lancia python, a livello C++ viene lanciata una particolare eccezione, e che devi interrogare l'interprete per avere l'errore specifico. Tra l'altro nessun metodo/funzione specifica le eccezioni che lancia per cui alla fine ho spulciato il codice, e mi e' venuto fuori qualcosa del genere

/* ... */
exec( "import sys,cStringIO\nsys.stderr = cStringIO.StringIO()", pythonNamespace, pythonNamespace );
object pythonStderr = pythonNamespace["sys"].attr("stderr");
/* ... */
try { /* ... */
} catch (const boost::python::error_already_set&)
    {
        PyErr_Print();
        object m = pythonStderr.attr("getvalue")();
        string msg = string(extract<char*>( m ));
        cerr << "Python Error: " <<  msg  << endl;
    }

Tra l'altro viene fatto un uso abbastanza distorto del C++, per cui alcune cose possono lasciare un po' interdetti (ad esempio uso di tipi inesistenti chiamati ad esempio "error_something_went_wrong" all'interno di templates per indicare condizioni di error... ).
Le boost a me non sono mai piaciute (proprio per questo), ma visto che il progetto su cui sto mettendo le mani le utilizza gia' per altri motivi, mi sembrava la cosa piu' naturale.

Comunque in questo periodo non ho molto tempo, ma posso do un'occhiata alla documentazione e vado a controllare i sorgenti di alcune applicazioni che utilizzano Python embedded (mi viene in mente Blender al momento).

Una alternativa abbastanza usata e' SWIG, ma non l'ho mai provata.

[marco.r]

Originariamente inviato da cdimauro

Perché ricordo che per installarla e configurarla con Windows e Visual Studio 2005 Express Edition è stato un tantino complicato

Con VE non ci ho messo troppo, per fortuna ci sono i binari disponibili, si tratta soprattutto di capire che flag settare e quali versioni delle librerie utilizzare . La tragedia e' stato compilarlo da zero con mingw

(inoltre, se possibile, vorrei poter fare a meno di queste librerie enormi, composte da migliaia e migliaia di piccoli file).

Neanche tanto piccoli, la cartella di build con i soli file oggetto mi risulta di circa 1 GB

[marco.r]

Originariamente inviato da andbin

Premetto che non conosco boost ... comunque ho visto che esiste una libreria chiamata Boost.Python, che consente l'interoperabilità tra C++ e Python. Una cosa è usare questa libreria e quindi usare ciò che è definito come funzioni, namespace o altro in tale libreria. E una cosa è voler usare direttamente le funzioni fornite dall'interprete Python.

:confused:, in effetti boost::python e' proprio quella che sto usando, o forse intendevi qualcos'altro ?
Comunque si', avrei preferito utilizzare il wrapper fornito da boost piuttosto che direttamente la funzione di Python, ma vedo che anche altri hanno usato senza problemi questa soluzione per cui per il momento mi accontento cosi'.

edit: ho visto ora che mi converte delle faccine di troppo ... forse quello ha creato confusione

[cdimauro]

Originariamente inviato da marco.r

Innanzi tutto rispondo alla mia domanda.
A quanto pare non funziona mettendo tutto vuoto, bisogna importare il modulo principale, e operare da li'.

    Py_Initialize();
    pythonModule = object(handle<>(borrowed(PyImport_AddModule("__main__"))));
    global = pythonModule.attr("__dict__");
    object result = exec_file("test.py", global, global);
    object test = global['x'];
    cout << (extract< int >(test)) << endl;
    object test2 = global["Klass"];
    object instance = test2();
    cout << (extract< int >(instance.attr("go")())) << endl;

In questo modo sembra andare, anche se non capisco perche' debba usare PyImport invece che boost:ython::import... mah.

L'unica cosa che mi viene in mente è che boost :: python :: import non è "remapping" esatto di PyImport().

D'altra parte noto che per inizializzare Python utilizzi Py_Initialize(), invece di qualche altra funzione di boost :: python.

[cdimauro]

Originariamente inviato da marco.r

Come gia' detto da andbin non e' necessario. Il motivo principale per cui stavo provando con le boost e' che forniscono diverso codice che altrimenti mi dovrei scrivere io, come ad esempio la gestione della conversione delle eccezioni, che diventa abbastanza delicata quando hai codice C++ che chiama codice Python che chiama una classe C++ che lancia un'eccezione. Aggiungiamo pure una gestione piu' automatica delle reference e la possiblita' di derivare classi Python da quelle C++ e viceversa, e capisci i motivi del mio tentativo.

Capisco benissimo e condivido.

Avevo dato una occhiata a come fare l'embedding "da me", ma gli esempio mi hanno spaventato (http://docs.python.org/ext/pure-embedding.html)

Onestamente mi è più chiaro il codice C (quello più a basso livello, e con un listato discretamente lungo) che ho trovato come esempio nel link postato da andbin, che quello che hai postato che, tra l'altro è pure molto più corto.

Sarà che la sintassi del C++ non la digerisco proprio.

Il problema e' che la documentazione per le boost:ython e' assolutamente scadente, perlomeno quel che riguarda l'embedding, non solo e' poca, ma in piu' punti obsoleta, per cui hai il programmino di esempio che fa una cosa, il tutorial un'altra e la guida di riferimento un'altra ancora.
Ad esempio e' si' scritto che le eccezioni se le gestisce lui, ma non ho trovato da nessuna parte il fatto che quando l'eccezione la lancia python, a livello C++ viene lanciata una particolare eccezione, e che devi interrogare l'interprete per avere l'errore specifico. Tra l'altro nessun metodo/funzione specifica le eccezioni che lancia per cui alla fine ho spulciato il codice, e mi e' venuto fuori qualcosa del genere

/* ... */
exec( "import sys,cStringIO\nsys.stderr = cStringIO.StringIO()", pythonNamespace, pythonNamespace );
object pythonStderr = pythonNamespace["sys"].attr("stderr");
/* ... */
try { /* ... */
} catch (const boost::python::error_already_set&)
    {
        PyErr_Print();
        object m = pythonStderr.attr("getvalue")();
        string msg = string(extract<char*>( m ));
        cerr << "Python Error: " <<  msg  << endl;
    }

Sfortunatamente è tipico di tanti prodotti open source: codice scritto male e ben poco documentato.

I programmatori open source sarebbero disposti a cedere la moglie, piuttosto che "perdere tempo" scrivendo documentazione.

E pensare che queste librerie sono candidate a diventare parte delle framework standard del C++...

Tra l'altro viene fatto un uso abbastanza distorto del C++, per cui alcune cose possono lasciare un po' interdetti (ad esempio uso di tipi inesistenti chiamati ad esempio "error_something_went_wrong" all'interno di templates per indicare condizioni di error... ).

E' tipico dell'abuso dei template, purtroppo.

La cosa che non mi spiego è la presenza di tipi inesistenti: il codice non dovrebbe nemmeno essere compilabile!

Le boost a me non sono mai piaciute (proprio per questo), ma visto che il progetto su cui sto mettendo le mani le utilizza gia' per altri motivi, mi sembrava la cosa piu' naturale.

Chiaro; è la strada più sensata.

Una alternativa abbastanza usata e' SWIG, ma non l'ho mai provata.

Io non ne conoscevo nemmeno l'esistenza.

Comunque personalmente proverò, quando possibile, a utilizzare gli esempi e la documentazione postata da andbin: li trovo più chiari, e poi per quello che ho in mente di fare ("mappare" alcune funzioni e variabili C in modo che siano visibili anche dall'ambiente Python) dovrebbe andare benissimo.

[cdimauro]

Originariamente inviato da marco.r

Con VE non ci ho messo troppo, per fortuna ci sono i binari disponibili, si tratta soprattutto di capire che flag settare e quali versioni delle librerie utilizzare . La tragedia e' stato compilarlo da zero con mingw

Per me la tragedia è stata trovare le informazioni per compilarle correttamente con VS2005: dal sito principale della libreria c'erano poche spiegazioni, che non funzionavano nemmeno.

Neanche tanto piccoli, la cartella di build con i soli file oggetto mi risulta di circa 1 GB

Già: quella è anche peggio. Un mare di spazio occupato quando magari ti servono poche cose.