Purtroppo il metodo setLineNumber a cui ti riferisci non funziona come si deve. Infatti, nella classe LineNumberReader, tra le info ho trovato questo:
* Note however, that <CODE>setLineNumber(int)</CODE> does not actually change the current
* position in the stream; it only changes the value that will be returned
* by <CODE>getLineNumber()</CODE>.
Non cambia la posizione nello stream, quindi non mi serve molto..

E se facessi tanti readLine() finché non mi trovo alla riga che voglio? Fa schifo?