[JAVA] Interagire con google

[Edde]

Ciao :)

Stiamo lavorando ad un progetto universitario, in cui implementiamo un motore di ricerca basato su ontologie. Il nostro lavoro interagisce direttamente con google, utilizzandolo per effettuare le nostre ricerche ed integrando il tutto con gli altri aspetti dell'applicazione.

C'è solo un problema che non siamo riusciti a risolvere... vi spiego in due righe questa parte...
L'utente inserisce la chiave di ricerca, e google restituisce la pagina dei risultati.
A questo punto la nosra applicazione analizza la pagina html così ottenuta, ne estrae i campi che ci interessano, e realizza un opportuno file XML, che poi viene passato al resto dell'applicazione per le elaborazioni successive.
Ora, il parser HTML->XML funziona, e se io effettuo una ricerca su google, mi salvo la pagina html dei risultati e poi la do in pasto al parser il tutto va a meraviglia. Però c'è questo passaggio manuale che vorremmo evitare...
Al che vi chiedo: c'è un modo, una libreria, un metodo, che permetta di interrogare google e di ottenere come risultato una pagina html di risultati da passare in automatico al parser?
In altre parti dell'applicazione abbiamo usato le api di google, ma i risultati delle ricerche vengono restituiti come collezione di oggetti. Potremmo usare questi oggetti per scrivere noi la pagina html, ma sarebbe una pagina "nostra", mentre noi vorremmo che al parser venga data in pasto esattamente la pagina generata da google.

Spero di essere stato comprensibile, grazie :)

[orpheus]

PEr un esame avevo dovuto anchio interrogare google per analizzare i risultati..vedi se questo codice ti può essere utile



//url of google
String URL="http://www.google.it/search";
try{
//set the parameter for get request
String data = "hl=" + URLEncoder.encode("it", "UTF-8");
data += "&q=" + URLEncoder.encode(query, "UTF-8");
data += "&btnG=" + URLEncoder.encode("Cerca", "UTF-8");
data += "&meta=" + URLEncoder.encode("", "UTF-8");
if(pageResult-1>0)
data += "&start=" + URLEncoder.encode((pageResult-1)+"0", "UTF-8");

//open conncetion to google
URL url = new URL(URL+"?"+data);
URLConnection conn = url.openConnection();
conn.setDoOutput(true);
conn.setDoInput(true);
//set program like an Firefox browser
conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.7) Gecko/20050414 Firefox/1.0.3");

// Get the response
BufferedReader rd = new BufferedReader(new InputStreamReader(conn.getInputStream()));


String buffer=new String();
int begin=0;
int end=0;
String line;


//save all html code of request in a string
while((line=rd.readLine())!=null)
buffer=buffer.concat(line);