[Java; C; PHP] Creare uno Spider [o Robot!]

[crazyboy92]

Salve a tutti, mi ritrovo a scrivere qui in seguito a un bel problemone!

Dovrei presentare un motore di ricerca locale (cioè all' interno della rete lan, 2 o piu pc collegati fra loro tramite router, tutti server).

il problema sta nella creazione dello spider (o robot, come lo volete chiamare)... sono completamente a zero.

esistono spider open source da poter affittare per il mio progetto? e se no, come potrei crearne io uno?

Grazie in anticipo!

[bobbytre]

secondo me è un po vaga la richiesta,

"2 o piu pc collegati fra loro tramite router", ma questo non vuol dire nulla , perche potrebbero anche essere impostati in modo tale che l'uno sia nascosto agli altri e viceversa.

Ci sono risorse condivise e tu devi cercare in quelle ? O su ogni computer è in esecuzione un demone che indicizza le risorse e poi si rende disponibile a eventuali chiamate di un client per i risultati ? O situazioni ancora differenti ?

Poi anche per quanto riguarda la ricerca , basta il nome del file ? oppure cercare contenuti ?

Se lo devi realizzare da zero c'è veramente un bel po di lavoro da fare

[crazyboy92]

Se lo devi realizzare da zero c'è veramente un bel po di lavoro da fare

ed è proprio per questo che vi chiedo aiuto!

per rispondere alle tue domande, spiego la situazione:
su ogni computer è installato xampp (percui sono dei server, con la porta 80 aperta.)

i computer sono collegati in maniera visibile fra loro tramite un router (il mio pc avrà 192.168.1.1 un altro 192.168.1.2 e via proseguendo).

non devo metter mano su altri PC, quindi dovrò avere solo il mio bel Spider che lavora sul mio PC. Cercherà sugli indirizzi IP adiacenti, tramite la porta 80 se ci sono file con estensione *html - htm*, e salverà il codice nel database.


Spero di essermi spiegato meglio, per altre delucidazioni sono qui! =)

[bobbytre]

già sapere che sono dei semplici webserver semplifica di parecchio il lavoro da fare, soprattutto perchè in rete si trovano diversi progetti gia pronti :D

http://en.wikipedia.org/wiki/Web_crawler#Open-source_crawlers

[ally]

...anche se avessero la porta 80 aperta difficilmente collaborerebbero passandoti l'elenco di pagine esposte...a meno di qualche setting generalmente sconsigliato...

[crazyboy92]

già sapere che sono dei semplici webserver semplifica di parecchio il lavoro da fare, soprattutto perchè in rete si trovano diversi progetti gia pronti :D

http://en.wikipedia.org/wiki/Web_crawler#Open-source_crawlers

Grazie! sto scaricando il codice di ASPseek per dargli un occhiata.. eventualmente ti potrei scocciare per chiederti qualche cosa? giuro che non do fastidio più di tanto!

...anche se avessero la porta 80 aperta difficilmente collaborerebbero passandoti l'elenco di pagine esposte...a meno di qualche setting generalmente sconsigliato...

...cioè? quelli che mi ha suggerito bobbytre non sono validi? o non funzionerebbero nel mio caso specifico?? potresti essere più chiaro? grazie =)