PDA

View Full Version : [Java/Jdbc/Access] inserimento lento record


lorixillo
22-09-2010, 12:43
come prima cosa salve a tutti!
ho un problema di inserimento di record in un database access mediante l'utilizzo di driver jdbc.
sto realizzando il trasferimento di vecchie tabelle btrieve di un programma di gestione delle donazioni di sangue per l'AVIS in tabelle access mediante java.
per prima cosa ho trasformato le tabelle btrieve .btr in file di testo .txt mediante un apposito tool.
poi ho creato un programma java che estrapola le informazioni di ogni riga del txt, crea una query di tipo INSERT INTO e inserisce la riga nel DB tramite il sistema
ps = con.prepareStatement(creaQuery(dati));
ps.executeUpdate();
fin qui tutto bene, ma poi accade una cosa alquanto strana!
ebbene, mentre una tabella è inserita correttamente e velocemente (stampando a video ogni query di insert ne compaiono a video circa 200 al secondo), l'altra viene inserita altrettanto velocemente per i primi 196-197 records, mentre i rimanenti vengono inseriti con una frequenza di circa 1 al secondo °_°!
ebbene, i record sono tipo 73000, non ho tutto questo tempo da perdere xD

ho controllato il controllabile :muro: , in particolare:

- non è colpa dell'istruzione executeQuery() dato che, commentandola, il risultato non cambia;
- non è colpa della simultanea lettura da file, dato che l'altra tabella è inserita correttamente (ed è una tabella con una 15ina di campi!!!);
- non è colpa della tabella access dove vado a inserire i record, dato che è simile in tutto per tutto all'altra! inoltre la rigenero spesso senza ottenere alcun risultato;
- isolando l'istruzione prepareStatement() ho scoperto che è proprio lei (e nessun altro) il problema (ho provato pure con un inserimento fuffa del tipo "INSERT INTO TABELLAFUFFA (A,B) VALUES ('a','b')" e si blocca dopo le solite prime 197 righe...).

ecco ulteriori dettagli sparsi che possono esservi utili nell'aiutarmi:

modello query funzionante:
INSERT INTO DONATORE (IdDonatore, CognomeNome, IdSesso, Indirizzo, CAP, Comune, Provincia, DataNascita, ComuneNascita, TelefonoPrincipale, TelefonoSecondario, CodiceProfessione, Frequenza, IdGruppoSanguigno, IdFattoreRH, Fenotipi, DataRilascio, DataCessazione, IdTipoTessera, IdTipoDonazione, IdTitoloStudio, IdStatoDonatore, IdAvvisoChiamata, IdGiornale) VALUES (0000, 'cogn nom', 0, 'Via Fuffa 1', '12121', 'casa sua', 'CS', '01/01/1753', 'comune', '01010104345', '0349343434', 0, 2, 0, 1, 'ccDeekk', '09/04/1294', null, 1, 0, 3, 0, 1, 1)

modello query capricciosa:
INSERT INTO DONAZIONE (IdDonatore, Numero, Data, IdTipoDonazione, Luogo) VALUES (15, 2, '22/01/1984', 1, 'ospedale')

grazie a coloro che proveranno ad aiutarmi!

Loris

vladix
22-09-2010, 13:44
penso che ti sei risposto da solo ... usi access come database !!! con tutti i database seri che ci sono in giro tu vai a usare un programma che al massimo puo essere usato per fini didattici ? :Puke:

PGI-Bis
22-09-2010, 14:04
Non che sia un suo fan (in verità non sono fan di alcun database) ma dubito che sia access il problema, se non altro per il fatto che a fronte di un problema del genere Microsoft sarebbe stata sommersa di RFE.

La questione è interessate per la bizzarrìa della sua manifestazione, per me è uno di quei casi in cui o becchi chi ha avuto esattamente lo stesso problema oppure inizi a navigare nel girone del debug.

Proviamo un po' a vedere se un motore di ricerca ci dice qualcosa...

[Update]
Una ricerca con "java jdbc mdb slow insert" da una varietà di risultati. Premessa la mia totale ignoranza di questioni correlate ai database, pare che una causa di rallentamenti simili al tuo sia dovuta all'esecuzione di un "full commit" per ogni "update" e che la soluzione sia nell'eseguire gli aggiornamenti come un blocco unico. Si parla di "batch, "autocommit", end e begin e cose del genere.

lorixillo
22-09-2010, 15:50
@vladix la tua non è una risposta ;)
magari ha prestazioni minori di altri, avrà meno funzioni, ma se deve fare delle operazioni simili mica si inventa di "sbagliarne" una e far giusta l'altra insomma xD
la questione non è che database uso, dato che con una query funziona e con l'altra no...
mi son sempre trovato bene con access (funziona! -.-"), anche se l'ho sempre usato per progetti ristretti (come questo), quindi basta e avanza;
inoltre il problema che si manifesta non è dovuto al fatto che access sia un buon/cattivo programma. c'è proprio qualcosa che imberla il procedimento!
edit: a ripensarci meglio: il problema persiste anche senza effettuare executeUpgrade, quindi access non viene neanche toccato...

@PGI_Bis peccato, ho già trovato risposte simili, ma non giustificano il perchè una query funziona e l'altra no...

grazie ad entrambi per il momento!

edit: sul PC fisso tutto funziona a dovere!!
a cosa diamine è dovuta sta cosa allora?
la curiosità rimane...
può essere il disco quasi pieno? quello del portatile è pieno per poco più di 3/4...
la ram? 1GB sul portatile, 4 sul fisso...
entrambe le cose non sono però giustificate dal fatto che l'altra query (la più complessa) funziona!
mah
spero riusciate a togliermi la curiosità xD
a presto

edit: AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
non è possibile poco fa andava con l'altro PC!
ora stessa storia!!!

vladix
22-09-2010, 16:40
non c'e bisogno di mettere il punto sulla i ... avevo capito che nn era un problema di access stavo solo contestando la tua scelta ( io butterei al secchio perfino sqlserver) ...cmq se non posti un pò di codice difficilmente qualcuno ti saprà aiutare ...
controlla che il pstmt viene chiuso dopo ogni insert ( anche se questo genererebbe un errore e nn rallenmtamento quando il "buffer" delle istruzioni è pieno ) ... oppure ci sono altri tipi di risorse che non rilasci ...

lorixillo
22-09-2010, 17:37
come mai ritieni access un tale "cesso":p ? non mi sembra tutto sommato male... (anche se da uno che ha usato solo lui poco conta xD)

le risorse sono le stesse della query che funziona, è un vero mistero.
comunque ho alcuni aggiornamenti:
sul portatile non va nè con netbeans nè con jcreator;
sul fisso non va con netbeans ma va con jcreator.
a questo punto posso dire di non capirci più un c****!!!

a presto
Loris

edit:
ho ripensato al discorso delle risorse occupate ed ho pensato che ogni funzione, dopo essere eseguita, rilascia tutte le risorse.
ho adottato quindi un subdolo stratagemma per fregarmene di ogni problema:
chiamo, finchè ci sono righe da leggere, una funzione che si connette al database, aggiunge 150 righe, e si killa.
in questo modo quindi farò innumerevoli connessioni e disconnessioni dal database, ma chissenefrega. :D

grazie per l'imbeccata sulle risorse :D
a presto con nuovi problemi :S
Loris