Python - parser web

gabmac2 · 19-10-2015, 20:54

E' possibile cercare in un insieme di pagine web specifiche parole ?
Grazie in anticipo

gabmac2 · 21-10-2015, 11:40

nessuno?

cdimauro · 21-10-2015, 18:28

La butto lì: penso che ti convenga estrarre le informazioni delle pagine con tool come BeutifulSoap, e poi cercare le parole che t'interessano.

gabmac2 · 21-10-2015, 18:36

intanto grazie,
se all' interno ci sono contenuti dinamici vengono rilevati?
Inoltre è possibile avere un insieme di indirizzi che coinvolge il risultato di un motore di ricerca?

cdimauro · 21-10-2015, 19:29

Quote:

Originariamente inviato da gabmac2

intanto grazie,
se all' interno ci sono contenuti dinamici vengono rilevati?

Soltanto se viene generato HTML, perché è di quello che BeautifulSoap esegue il parsing, e restituisce i dati.

Per intenderci, se la pagina in questione fa uso di Javascript e costruisce il DOM "al volo", allora non troverai niente.

Quote:

Inoltre è possibile avere un insieme di indirizzi che coinvolge il risultato di un motore di ricerca?

In che senso, scusa? Potresti essere più chiaro?

gabmac2 · 22-10-2015, 08:27

ad esempio site:xyz avrà tutti i risultati di quel sito, è possibile passare direttamente tutto questo "blocco", quindi diverse pagine?

cdimauro · 22-10-2015, 18:26

Questo devi farlo tu, perché BeautifulSoap si occupa del parsing della pagina HTML, ma non ti effettuare ricerche su web come faresti con Google.

Per quello potresti usare le API di Google, e poi passare il contenuto a BeautifulSoap, una pagina alla volta.

gabmac2 · 22-10-2015, 18:36

intendi API Client Library for Python?

cdimauro · 22-10-2015, 18:43

Sì.

gabmac2 · 22-10-2015, 20:41

si può creare una "situazione" di Data Mining quindi?

cdimauro · 22-10-2015, 20:45

Sì, ma bisogna vedere quanti dati devi processare.

gabmac2 · 23-10-2015, 08:01

con la libreria di Google indicata è possibile memorizzare in array i risultati di ricerca di una stringa richiesta dall' utente?

gabmac2 · 23-10-2015, 18:47

quello credo sia il passaggio successivo
intendo passando una stringa, alle api di Google ritornano in un array i risultati della ricerca

19-10-2015, 20:54	#1
gabmac2 Senior Member Iscritto dal: Jun 2009 Messaggi: 5626	Python - parser web E' possibile cercare in un insieme di pagine web specifiche parole ? Grazie in anticipo

21-10-2015, 18:28	#3
cdimauro Senior Member Iscritto dal: Jan 2002 Città: Germania Messaggi: 26110	La butto lì: penso che ti convenga estrarre le informazioni delle pagine con tool come BeutifulSoap, e poi cercare le parole che t'interessano. __________________ Per iniziare a programmare c'è solo Python con questo o quest'altro (più avanzato) libro @LinkedIn Non parlo in alcun modo a nome dell'azienda per la quale lavoro Ho poco tempo per frequentare il forum; eventualmente, contattatemi in PVT o nel mio sito. Fanboys

22-10-2015, 18:26	#7
cdimauro Senior Member Iscritto dal: Jan 2002 Città: Germania Messaggi: 26110	Questo devi farlo tu, perché BeautifulSoap si occupa del parsing della pagina HTML, ma non ti effettuare ricerche su web come faresti con Google. Per quello potresti usare le API di Google, e poi passare il contenuto a BeautifulSoap, una pagina alla volta. __________________ Per iniziare a programmare c'è solo Python con questo o quest'altro (più avanzato) libro @LinkedIn Non parlo in alcun modo a nome dell'azienda per la quale lavoro Ho poco tempo per frequentare il forum; eventualmente, contattatemi in PVT o nel mio sito. Fanboys

22-10-2015, 18:43	#9
cdimauro Senior Member Iscritto dal: Jan 2002 Città: Germania Messaggi: 26110	Sì. __________________ Per iniziare a programmare c'è solo Python con questo o quest'altro (più avanzato) libro @LinkedIn Non parlo in alcun modo a nome dell'azienda per la quale lavoro Ho poco tempo per frequentare il forum; eventualmente, contattatemi in PVT o nel mio sito. Fanboys

22-10-2015, 20:45	#11
cdimauro Senior Member Iscritto dal: Jan 2002 Città: Germania Messaggi: 26110	Sì, ma bisogna vedere quanti dati devi processare. __________________ Per iniziare a programmare c'è solo Python con questo o quest'altro (più avanzato) libro @LinkedIn Non parlo in alcun modo a nome dell'azienda per la quale lavoro Ho poco tempo per frequentare il forum; eventualmente, contattatemi in PVT o nel mio sito. Fanboys

21-10-2015, 11:40	#2
gabmac2 Senior Member Iscritto dal: Jun 2009 Messaggi: 5626	nessuno?

21-10-2015, 18:36	#4
gabmac2 Senior Member Iscritto dal: Jun 2009 Messaggi: 5626	intanto grazie, se all' interno ci sono contenuti dinamici vengono rilevati? Inoltre è possibile avere un insieme di indirizzi che coinvolge il risultato di un motore di ricerca?

22-10-2015, 08:27	#6
gabmac2 Senior Member Iscritto dal: Jun 2009 Messaggi: 5626	ad esempio site:xyz avrà tutti i risultati di quel sito, è possibile passare direttamente tutto questo "blocco", quindi diverse pagine?

22-10-2015, 18:36	#8
gabmac2 Senior Member Iscritto dal: Jun 2009 Messaggi: 5626	intendi API Client Library for Python?

22-10-2015, 20:41	#10
gabmac2 Senior Member Iscritto dal: Jun 2009 Messaggi: 5626	si può creare una "situazione" di Data Mining quindi?

23-10-2015, 08:01	#12
gabmac2 Senior Member Iscritto dal: Jun 2009 Messaggi: 5626	con la libreria di Google indicata è possibile memorizzare in array i risultati di ricerca di una stringa richiesta dall' utente?

23-10-2015, 18:47	#13
gabmac2 Senior Member Iscritto dal: Jun 2009 Messaggi: 5626	quello credo sia il passaggio successivo intendo passando una stringa, alle api di Google ritornano in un array i risultati della ricerca

Strumenti
Mostra una versione stampabile Invia questa pagina per email