Conoscete un programma per fare il Crawling di un sito?
Devo fare questo:
- Connettermi ad un sito
- Prelevare tutti i link che puntano a viewtopic.php
- Aprire la pagina
- Leggere il titolo della pagina
- Salvarlo da qualche parte con il corrispondente url
- Passare al link successivo
Esiste un programmino che fa questo?
|