Python - parser web

[gabmac2]

E' possibile cercare in un insieme di pagine web specifiche parole ?
Grazie in anticipo

[gabmac2]

nessuno?

[cdimauro]

La butto lì: penso che ti convenga estrarre le informazioni delle pagine con tool come BeutifulSoap, e poi cercare le parole che t'interessano.

[gabmac2]

intanto grazie,
se all' interno ci sono contenuti dinamici vengono rilevati?
Inoltre è possibile avere un insieme di indirizzi che coinvolge il risultato di un motore di ricerca?

[cdimauro]

intanto grazie,
se all' interno ci sono contenuti dinamici vengono rilevati?
Soltanto se viene generato HTML, perché è di quello che BeautifulSoap esegue il parsing, e restituisce i dati.

Per intenderci, se la pagina in questione fa uso di Javascript e costruisce il DOM "al volo", allora non troverai niente.
Inoltre è possibile avere un insieme di indirizzi che coinvolge il risultato di un motore di ricerca?
In che senso, scusa? Potresti essere più chiaro?

[gabmac2]

ad esempio site:xyz avrà tutti i risultati di quel sito, è possibile passare direttamente tutto questo "blocco", quindi diverse pagine?

[cdimauro]

Questo devi farlo tu, perché BeautifulSoap si occupa del parsing della pagina HTML, ma non ti effettuare ricerche su web come faresti con Google.

Per quello potresti usare le API di Google, e poi passare il contenuto a BeautifulSoap, una pagina alla volta.

[gabmac2]

intendi API Client Library for Python?

[cdimauro]

Sì.

[gabmac2]

si può creare una "situazione" di Data Mining quindi?

[cdimauro]

Sì, ma bisogna vedere quanti dati devi processare.

[gabmac2]

con la libreria di Google indicata è possibile memorizzare in array i risultati di ricerca di una stringa richiesta dall' utente?

[gabmac2]

quello credo sia il passaggio successivo
intendo passando una stringa, alle api di Google ritornano in un array i risultati della ricerca