[JAVA] java.lang.OutOfMemoryError: Java heap space: Svuotare la memoria

[guylmaster]

Salve a tutti,
il problema è che già qualche tempo fa ho avuto problemi con la memoria che mi terminava, alchè mi sono detto:

1. Miglioriamo l'algoritmo, effettivamente all'inizio era molto inefficiente;
2. Aumentiamo la memoria nell'Eclisse.ini, anche se quest'ultima non gli ha fatto ne caldo ne freddo (anzi un mio collega su Windows 7 riesce a fare molti più calcoli senza manco toccarlo quell'heap, ed io che lo aumentato su Mac Os ne faccio tipo la metà);

Ad ogni modo mi sono accorto che la situazione non può risolversi andando in queste due direzioni, contate che sto facendo un programma di navigazione e su una mappa molto piccola ed un percorso che non come nemmeno tutta la mappa ho roba tipo 500.000 nodi da attraversare ed ogni nodo ha tipo una decina di attributi.

Mi sono quindi chiesto il dubbio, ma se calcolassi prima un pezzettino di percorso, lo salvo o scrivo su un file, poi passo ad un'altro pezzo e così via? così dovrei risolvere, no?

Il problema è che non ho la minima idea di come svuotarlo questo heap, dovrebbe essere il garbage collector ad occuparsene ed invece nulla. Se creo l'oggetto 1, poi passo a creare l'oggetto 2 che nulla a che fare con l'oggetto 1, l'oggetto 2 rimane tranquillamente allocato e difatti la prima "piccola rotta" me la calcola, nel calcolo della seconda mi finisce la memoria.

Secondo voi come posso fare? c'è un modo per invogliare il garbate collector a svuotare la memoria?

Vi ringrazio in anticipo,
guylmaster.

[banryu79]

Beh, bisogna vedere il codice.
Ricordati che una istanza (oggetto) non diventa "papabile" per la garbage collection finchè esiste in memoria (heap) almeno una reference che punta ad essa.
Le reference "muoiono" quando il flusso di esecuzione esce dallo scope in cui esse sono dichiarate.

[guylmaster]

Tra l'altro con un:

System.out.println(java.lang.Runtime.getRuntime().maxMemory());

Mi da come output:

129957888

Quindi mi sa che è rimasto ancora a 128mb e anche se ho cambiato il file eclipse.ini non è cambiato nulla.

[guylmaster]

Originariamente inviato da banryu79

Beh, bisogna vedere il codice.
Ricordati che una istanza (oggetto) non diventa "papabile" per la garbage collection finchè esiste in memoria (heap) almeno una reference che punta ad essa.
Le reference "muoiono" quando il flusso di esecuzione esce dallo scope in cui esse sono dichiarate.

Quindi se richiamo due oggetti pesati nello stesso main, uno dopo l'altro, rimango nello stesso scope ed in poche parole non me li dealloca mai?

Ma poi perché anche modificando eclipse.ini non è cambiato nulla riguardo alla memoria heap? Magari già modificando quel valore da 128mb ad un paio di giga risolvo!

[Cait Sith]

tempo fa ho avuto più o meno lo stesso problema

purtroppo, per come è fatto java, non puoi gestire la memoria

in teoria ci sarebbe anche una funzione che dovrebbe forzare il garbage collector a liberare la memoria, dico dovrebbe perchè in realtà il suo comportamento dipende dall'impementazione della virtual machine, e quando ho provato ad usarla con la virtual machine della sun non sembrava sortire grandi effetti

gli unici due consigli che ti posso dare sono:

1) lancia l'applicazione impostando un valore di memoria massimo molto alto (se hai 4 GB di RAM puoi lanciare l'applicazione anche con 2 GB di memoria massima per la virtual machine)
usa il comando

java -Xmx2048m -jar tuoprogramma.jar

la lettera m dopo 2048 che indica i MB, se la dimentichi, per lui sono KB
-jar va dopo le opzioni della memoria

2) ricicla gli oggetti già creati
per esempio invece di usare funzioni del tipo

float[] scaleArray(float[] a,float scaler)

che prendono in ingresso un oggetto e danno come risultato un altro oggetto, potresti usare funzioni del tipo

void scaleArray(float[] a,float scaler)

che agiscono direttamente sull'array in ingresso modificandolo (ovviamente perdi il contenuto dell'array passato in ingresso)

se sia possibile fare cose del genere ovviamente dipende da come è fatto il tuo programma, e in particolare da cosa sono costituiti gli oggetti

[banryu79]

Originariamente inviato da guylmaster

Quindi se richiamo due oggetti pesati nello stesso main, uno dopo l'altro, rimango nello stesso scope ed in poche parole non me li dealloca mai?

Se li hai inizializzato due reference a quelle istanze nello scope del metodo "main" le reference smetteranno di puntare a quelle istanze solo al termine del metodo stesso, e quindi solo da quel momento in poi le istanze stesse diverranno elegibili per la garbage collection. In una parola: è come hai detto.

[PGI-Bis]

E' improprio dire che non si possa gestire la memoria in java: si gestisce eccome, solo che bisogna farlo secondo le sue regole.

Ad esempio l'idea di non usare il valore restituito ma passare un riferimento ad un oggetto mutabile nell'insieme di argomenti potrebbe non essere tanto buona.

La ragione sta nel modo in cui funziona la divisione della memoria nelle jvm. L'allocazione e deallocazione della memoria associata ad oggetti che esistono per uno spazio di tempo breve costa poco. In effetti la deallocazione della memoria occupata da questi riferimenti è enormemente più rapida di un free o un delete in C. Costa poco perchè in realtà non viene liberata: quello che si trova nella young generation è riciclato on demand se non sopravvive abbastanza da essere spostato.

In C++ c'è la sindrome del new. Se metti un new in un ciclo la gente ti insegue coi forconi. In Java non c'è problema (relativamente: se nel costuttore c'è la lettura di un file o il passaggio nel ciclo dura due secoli dei fregato).

Nel caso in questo il problema è palesemente nella mera quantità di dati. 500.000 riferimenti per dieci campi, anche ammettendo che siano tutti interi sei già fregato: 320*500000 fan 152 mega.

Xmx e via.

Se il programma è un RCP Eclipse devi specificarlo nel file di configurazione dell'applicazione RCP. Se invece è un normale programma e qui Eclipse è solo l'ide allora devi metterlo nei parametri di esecuzione del programma (per l'avvio da eclipse, nel batch per l'avvio da jar, nel descrittore jnlp per avvio da java web start).

[Cait Sith]

Originariamente inviato da PGI-Bis

E' improprio dire che non si possa gestire la memoria in java: si gestisce eccome, solo che bisogna farlo secondo le sue regole.

Io non sono tanto d'accordo con questa tua affermazione: magari dire che non si può gestire la memoria è esagerato, ma di sicuro non si possono gestire le deallocazioni, proprio perchè è la virtual machine a farlo in modo automatico (con i pro e contro del caso) e in certi casi può essere un problema.

Però, in effetti, in questo caso, al di là dell'efficienza del garbage collector, come dici tu è probabile che sia proprio la memoria a non essere sufficiente.

[banryu79]

Originariamente inviato da Cait Sith

Io non sono tanto d'accordo con questa tua affermazione: magari dire che non si può gestire la memoria è esagerato, ma di sicuro non si possono gestire le deallocazioni, proprio perchè è la virtual machine a farlo in modo automatico (con i pro e contro del caso) e in certi casi può essere un problema.

Non è una questione di essere d'accordo o meno: è vero che è il garbage collector a "deallocare" le istanze referenziate ma esso lo fa in modo determinisctico, seguendo certe regole, regole che sono stabilite da specifiche pubbliche.
Un programmatore, previa completa conoscenza di quelle specifiche e dei meccanismi presenti a livello di linguaggio Java e di API standard può tranquillamente pianificare la gestione della memoria nella sua applicazione, almeno in termini quantitativi.

[guylmaster]

Sono riuscito a risolverle, almeno parzialmente, il problema della memoria che si esaurisce in questo modo:

Creo un tragitto con una precisione molto bassa, sui punti di quel tragitto creo un'altra rotta con una precisione mediamente alta e poi da li creo quella a precisione massima.

Così però su una rotta grande quanto il lato della mappa (rettangolare) ci metto circa 7 minuti di calcolo. Sto provando a fargli calcolare ora una rotta da un angolo all'altro della mappa e sul creare il primo punto della rotta finale sta tartagliando parecchio e prevedo quindi che tra un po' solleverà l'eccezione.

Magari proverò ad inserire un ennesimo ciclo (o a strutturare bene i cicli in maniera tale da non dover incollare ogni volta un ciclo nuovo dentro ), il problema è che se prima ci metteva 7 minuti, ora ce il rischio che ad ogni rotta ci metta un quarto d'ora, non mi sembra un tempo accettabile. Ma i navigatori sui cellulari che algoritmo usano per non dover macinare in quel modo?

[guylmaster]

Infatti dopo un po' di prove con un algoritmo che prende la mappa in diagonale inizia a macinare per più di 10 minuti ed insomma.. ad occhio e croce potrebbe metterci mezzora e non è proprio un tempo accettabile.

Il problema è che sicuramente ci saranno delle tecniche apposite per affrontare questi algoritmi di navigazione, altrimenti non riuscivano a mettere un navigatore su un cellulare, ma non essendone a conoscenza non so in che direzione muovermi.