Non sono un esperto, anzi, però potresti utilizzare alcuni metodi di java.lang.Runtime, come totalMemory(), maxMemory() e freeMemory(), vedi i javadoc dell'API.
Se vuoi saperne di più su java.lang.OutOfMemoryError vedi qua, al cap. 2 -->
Troubleshooting and Diagnostic Guide
@EDIT:
Grazie Nayma, anche il tuo non è male
