Database MySql su applicazione distribuita, applicazione multithread o libreria?

[fano]

Salve a tutti abbiamo un problemino per un Progetto, la nostra "Applicazione" è in realtà un'applicazione distribuita cioè formata da più applicazioni (che girano su Linux X86 e ARM[1]) per esempio:

1. Supervisor controlla tutte le altre
2. Logger
3. Driver(s)
4. Manager(s)
5. Logica di Controllo
6. Interfaccia "Operatore"
7. Interfaccia "Utente"
8. Storage (per ora sqlite)
9. Logger
10. Configuratore (se le cose vanno bene un giorno sarà lo Storage stesso o parte di esso...)

tutti i membri de "l'Applicazione" comunicano tra loro via rete e/o via code realtime, l'Applicazione può essere distribuita da 1 a N macchine, l'IPC è proprietario (nostra proprietà, quindi nessun problema c'ho i sorgenti!).

Non vi posso dire che cosa sarà, ma diciamo che se un giorno andrete in Polonia lo scoprirete

Il problema è lo Storage che sta divenendo un collo di bottiglia: infatti noi lo usiamo per la diagnostica, per far conoscere ai Manager(s) quanti Driver(s) controllano (no, non è schiantato... è quasi Plug & Play ) e, ovviamente, per salvare i dati propri de "l'Applicazione" (denaro, denaro, denaro... per la maggior parte ) quindi circa 1 volta al secondo accade:

1. Evento da Periferica X
2. Manager Y, "X" è una mia periferica? So una sega io, lo chiedo allo Storage!
3. Storage apre un ridicolo file binario che sqlite chiama database, fa una SELECT complessa a piacere, crea un json (in C robe turche!) e risponde al Manager e/o va in core
4. Manager Y scopre che era la sua periferica, apre il json cerca ciò che gli serve, elabora, smanazza e poi decide: è successo qualcosa d'interessante? Sì lo mando al Controllore, no è solo un evento diagnostico lo dico allo Storage.
5. Controllore Z, "Y" è un mio Manager? So una sega io, chiedo allo Storage...
6. ...

Tutto questo avveniva in origine su rete e sulla "carta" funzionava pure, ma appena ci siamo messi a parlare con una Periferica Real Time, essa ci ha dichiarato scollegati (sì avete capito bene LEI ha detto che il Controllore era scollegato, "l'Applicazione" per la gioia ha reagito andando in core!)

Abbiamo quindi provato ad usare ANCHE le code Real Time di Linux, la velocità è cambiata di un fattore 1000 ; la periferica RealTime ora funziona regolarmente, ma il "traffico" rimane alto e, comunque, da un punto di vista dell'efficienza non può essere corretto.

Posto che sqlite si leva dalle p@lle e si passa a mysql, ci troviamo, ora, ad un bivio o, più probabilmente, ad un trivio:

1. Lo Storage non esiste più come reale applicazione, ma diventa una libreria. Questo significa che ogni membro dell'Applicazione "conosce" lo Storage ed esegue direttamente le operazioni su di esso. In questo caso non saprei a chi far creare il DB e inizializzare le Tabelle di "anagrafica"
   Da un punto di vista "estetico", NON mi piace... ma il tempo per eseguire le operazioni diventerà intorno allo 0...
2. Lo Storage esiste ancora, ma diventa un'applicazione Multithread (magari scritta in un linguaggio più moderno, il C mi ha stufato, io vorrei usare Java, ma se proprio me lo impediscono almeno Qt/C++), l'IPC rimane in piedi, ma ogni membro dell'Applicazione ha un suo "thread" e canale dedicato. Mi pare una soluzione più pulita, io sono convinto sia sqlite il collo di bottiglia!
3. Una sorta di ibrido? Una libreria che è anche un'applicazione? Lasciate andare la vostra fantasia come dico sempre io: non fossilizziamoci su JAVA o C/C++, se lo fa Python o Perl, si valuta quelli...

I Polacchi, ovviamente, se lo tengono così, ma per i prossimi progetti le cose DEVONO cambiare, notate che per la natura stessa de "l'Applicazione" se riusciamo a mantenere l'interfaccia identica con l'applicazione (e la 2 è la via IMHO) io posso sostituirla e il resto de "l'Applicazione" non si deve accorgere della differenza... o andrà in core e allora anch'io sono morto, ma questa è un'altra Storia

[1]Porting fatto da un collega bestemmiando in Sanscrito perché ho usato troppe estensioni di GCC 4.4 e la Moxa fornisce un toolchain basato su GCC 3.9 se ricordo bene

[tomminno]

Cioè avete usato sqlite come db per un progetto multi-processo?
Avete cannato in pieno il suo utilizzo.
Usa un dbms server come storage e sei a posto.

Parli di applicazione distribuita ma non specifichi se deve funzionare in rete privata o anche su internet. Nel secondo caso generalmente si evita di esporre il dbms direttamente su internet quindi devi pensare a qualcosa tipo webservice (magari RESTfull).
Poi è praticamente obbligatorio se devi applicare delle logiche centralizzate evitando di replicarle su ogni client.

Io però avrei fatto caching invece che andare ad interrogare sempre lo storage: un manager parte e carica tutte le sue periferiche magari aggiornando l'elenco periodicamente o ogni volta che non trova una periferica nella cache locale (questo indipendentemente che si tratti di sqlite o mysql)