In realtā gli sforzi principali di OpenJDK con il progetto Sumatra (su cui ci stanno lavorando Oracle, AMD e altri) sono rivolti a OpenCL:
http://www.infoq.com/news/2013/09/java-hsail
http://openjdk.java.net/projects/sumatra/
In questo caso, sarebbe la VM a decidere automaticamente se usare la CPU o la GPU a seconda del lavoro da fare e nel momento in cui vengono utilizzate specifiche API introdotte con Java 8 per la parallelizzazione dell'elaborazione.