Il linguaggio è ininfluente in questo caso e comunque al tuo posto userei python che, di sicuro, avrà dei bindings per qualcuna delle librerie di speech recognition.
Giusto per dirne una
http://code.google.com/p/pyspeech/
Per linux invece
http://cmusphinx.sourceforge.net/