[JAVA & JDBC] Gestire ResultSets di grandi dimensioni

[magix2003]

Ciao a tutti,

sto sviluppando un'interfaccia per fare query su un database (Oracle per la precisione). Il problema è che delle query ritornano dei resultset troppo grandi per essere gestiti in memoria (OutOfMemory exception).

Come posso gestire questo problema? Ci sono delle soluzioni pre-confezionate?

Grazie,

Giorgio

PS: usare la clausula LIMIT per me non è una vera soluzione

[yorkeiser]

Prova ad impostare il ResultSet come TYPE_FORWARD_ONLY, da quanto ricordo in alcuni casi questo workaround funzionava (se non ricordo male, col resultset bidirezionale la jvm si teneva in memoria tutti i record perchè doveva poterli scorrere anche a ritroso, mentre col forward only li buttava dopo averli fetchati).

[Frank1962]

penso che sia un problema intrinseco alla query che fai al database ...se fai una "SELECT * FROM tabella" è ovvio che l'insieme dei risultati potrebbe essere molto dispensioso in termini di memoria; penso che sei costretto a limitare la tua query a meno di non trovare un sistema di caching per i ResultSet....

[magix2003]

Grazie mille per le risposte.

Il problema credo sia dovuto da come gestisco il resultset. Appena ricevuto, lo trasformo in un ArrayList<ArrayList>, per questo motivo occupo tantissima memoria. Il fatto è che vorrei rilasciare la connessione al database il prima possible, per questo mi era venuta questa genialata..:cool:

[PGI-Bis]

Hai già provato ad espandere l'heap? (ad esempio -Xmx1024m)

[magix2003]

Avevo allargato il perGem Space, è la stessa cosa?

Comunque, penso che il problema sia nell'uso degli ArrayList (che vengono mantenuti in memoria), non c'è un modo più "furbo"?

[PGI-Bis]

Non è la stessa cosa (il permgen è un pezzo dell'heap).

La dimensione standard dell'heap dovrebbe essere 64 megabyte.

Dovresti fare una stima della quantità di memoria necessaria al tuo programma. Poi devi valutare se sia consona alla piattaforma di esecuzione.

Ad esempio un programma che occupa 4 gigabyte di memoria "volatile" è improponibile se è destinato a girare su un client desktop ma è perfettamente lecito su un pc server.

Se valuti che la tua applicazione consumi richiede troppa memoria ad accesso rapido allora cercherai delle alternative.

Se i valori che ottieni dalla query ti servono tutti quanti per lo stesso periodo di tempo allora l'unica cosa che puoi fare è passare da una struttura dati che trattiene le informazioni nella RAM (in verità sarebbe la memoria del processo ma è più semplice se parliamo di RAM) ad una che le mantenga sul disco fisso.

Il che naturalmente ti ammazza le prestazioni ma non ci puoi far granchè.

Se invece i dati ti servono per periodi differenti allora puoi usare il ResultSet come un cursore.

Esempio stupido. Nel database ho un miliardo di numeri interi e devo fare la media di quei numeri. I numeri mi servono tutti ma mi servono per periodi di tempo diversi (successivi in questo caso).

Piglio, faccio la mia query, inizializzo la somma e un contatore a zero, scorro i risultati nel result set e man mano che avanzo sommo il valore alla media e incremento il contatore di uno. Chiudo il result set, divido la somma per il contatore e ho il valore.

Ma se il miliardone di dati fossero dei segmenti di un unico file e io avessi bisogno di "aprire" questo file allora di riffa o di riffa quei dati mi servirebbero tutti quanti insieme.

Insomma devi fare una valutazione complessiva. Se alla fine risulta possibile e vantaggioso spendere il tempo che è richiesto dalla trasformazione dei tuoi array in qualcos'altro allora procederai con la trasformazione.

Senza sapere altro non è possibile dire se l'uso degli array sia più o meno furbo.

[magix2003]

PGI-bis, non posso che ringraziarti per l'esauriente spiegazione. Nei prossimi giorni farò dei test, in caso dovessi trovare problemi insormontabili tornerò ancora a disturbarvi.. :)

Grazie, Giorgio