[Python] Script per scaricare solo testo di un sito

[$te]

Buongiorno,

pensavo di aver vita facile su internet: ho cercato e ricercato ma non trovo nulla che mi aiuta.

Avrei bisogno qualcosa di "semplice": uno script (pensavo in python, ma sono aperto ad altri linguaggi) per "scaricare" il testo di un sito web.

Quindi, a partire da una lista di siti web (anche 100 o più), per ogni sito devo avere (il top sarebbe su excel) tutto il testo contenuto nelle varie pagine (quindi non solo nella home).

Dopo, sarò io, penso in excel, a fare le mie analisi su questo testo.

Ho visto vari esempi con scrapy (Python), ma non riesco a fare quello che vorrei.

Avete dei consigli?

Grazie!

[Kaya]

non ho tempo per approfondire ma io farei uso di curl e poi un parser poi del file scaricato

quindi in step
prepari una lista di siti web
for line in lista
curl $line output $nomesito
parserizza il file di output per trovare i tag <a href>
ripeti quanto sopra per una seconda volta (altirmenti rischi di andare all'infinto)
end
tutti i file che hai in output poi li butti in un csv (anche se non capisco il senso)

[$te]

non ho tempo per approfondire ma io farei uso di curl e poi un parser poi del file scaricato

quindi in step
prepari una lista di siti web
for line in lista
curl $line output $nomesito
parserizza il file di output per trovare i tag <a href>
ripeti quanto sopra per una seconda volta (altirmenti rischi di andare all'infinto)
end
tutti i file che hai in output poi li butti in un csv (anche se non capisco il senso)
Grazie per la risposta!

Non ho mai usato curl..

Quello che adesso sono riuscito a fare, usando scrapy, è semplicemente scaricare il body di un sito web:

import scrapy

class HeadphonesSpider(scrapy.Spider):

name = "prova"

def start_requests(self):
urls = [
'https://sito.it',

]

for url in urls:
yield scrapy.Request(url=url, callback=self.parse)

def parse(self, response):
body_urls = response.css('body').extract()
with open('urls.txt', 'w') as f:
for u in body_urls:
f.write(u + "\n-------\n")


Tuttavia, in questo caso mi piacerebbe almeno riuscire a togliere tutti i vari tag..per pulire un po il testo salvato

[$te]

non ho tempo per approfondire ma io farei uso di curl e poi un parser poi del file scaricato

quindi in step
prepari una lista di siti web
for line in lista
curl $line output $nomesito
parserizza il file di output per trovare i tag <a href>
ripeti quanto sopra per una seconda volta (altirmenti rischi di andare all'infinto)
end
tutti i file che hai in output poi li butti in un csv (anche se non capisco il senso)

Il mio obbiettivo finale è quello di avere un excell in cui nella prima colonna c'è il sito web in questione e nella colonna seguente tutto il testo, e questo per più siti.
Spero di essermi spiegato bene.

Grazie

[Kaya]

Grazie per la risposta!

Non ho mai usato curl..

Quello che adesso sono riuscito a fare, usando scrapy, è semplicemente scaricare il body di un sito web:

import scrapy

class HeadphonesSpider(scrapy.Spider):

name = "prova"

def start_requests(self):
urls = [
'https://sito.it',

]

for url in urls:
yield scrapy.Request(url=url, callback=self.parse)

def parse(self, response):
body_urls = response.css('body').extract()
with open('urls.txt', 'w') as f:
for u in body_urls:
f.write(u + "\n-------\n")


Tuttavia, in questo caso mi piacerebbe almeno riuscire a togliere tutti i vari tag..per pulire un po il testo salvato

Il problema di fondo in cui ti trovereai, è quello per cui all'interno di una pagina web ormai il testo "puro" è veramente minimale e il resto è tanta "porcheria" per i tuoi fini (tag div, script javascript, ecc ecc).

Comunque credo che qua trovi la risposta: https://stackoverflow.com/questions/33307073/removing-html-tags-without-text-extract

[$te]

Il problema di fondo in cui ti trovereai, è quello per cui all'interno di una pagina web ormai il testo "puro" è veramente minimale e il resto è tanta "porcheria" per i tuoi fini (tag div, script javascript, ecc ecc).

Comunque credo che qua trovi la risposta: https://stackoverflow.com/questions/33307073/removing-html-tags-without-text-extract

Grande!!! Adesso ci sono quasi:

import scrapy
from bs4 import BeautifulSoup

class HeadphonesSpider(scrapy.Spider):

name = "prova"

def start_requests(self):
urls = [
'https://sito1.it',
'https://sito2.it'
]

for url in urls:
yield scrapy.Request(url=url, callback=self.parse)

def parse(self, response):
body_urls = response.css('body').extract()
new_body = str(body_urls)
soup = BeautifulSoup(new_body, 'html.parser')
just_text = soup.get_text()
just_text= just_text.replace('\\n',' ')

with open('urls.csv', 'w') as f:
for u in body_urls:
f.write(just_text + "\nBLABLA")
f.close()


Adesso ho solo due problemini:
1 - nel file csv, non viene scritto tutto solo in una cella..ma in 3-4 tipo..e non capisco come mai
2 - nell'esempio ho messo due siti internet, ma alla fine mi controlla solo nel primo sito

Pero, ho fatto passi da giganti, grazie!!

[Kaya]

Per il primo punto faccio una ipotesi:
nel testo che prendi sono presenti , e ; .
Soluzione: fai una sostituzione nel testo dei doppia apici (") con un escape (\") e poi metti tutto il testo che ottieni tra doppi apici. In questo modo quanto importi lo considera un unico campo

Per il secondo punto non sono in grado di aiutarti

[$te]

Per il primo punto faccio una ipotesi:
nel testo che prendi sono presenti , e ; .
Soluzione: fai una sostituzione nel testo dei doppia apici (") con un escape (\") e poi metti tutto il testo che ottieni tra doppi apici. In questo modo quanto importi lo considera un unico campo

Per il secondo punto non sono in grado di aiutarti

alla fine, ho già una buona parte di quello che volevo, grazie mille!
Riesco quindi ad andare in una pagina, prendere il testo e togliere i vari tag!

Ora, sto cercando come fare per ottenere tutte le pagine di un sito web, per poi avviare lo script. Purtroppo, vedo che non tutti posseggono un sitemap (o magari sbaglio?) che renderebbe il lavoro molto piu facile...

[$te]

alla fine, ho già una buona parte di quello che volevo, grazie mille!
Riesco quindi ad andare in una pagina, prendere il testo e togliere i vari tag!

Ora, sto cercando come fare per ottenere tutte le pagine di un sito web, per poi avviare lo script. Purtroppo, vedo che non tutti posseggono un sitemap (o magari sbaglio?) che renderebbe il lavoro molto piu facile...

Ho scoperto che basta aggiungere un follow=True per ottenere tutte le pagine di un sito web, perfetto!!

[$te]

Riscrivo..perché adesso avrei bisogno di analizzare le pagine di un sito, ma solo quelle in inglese (se esiste la versione in inglese).

Il problema è che se no mi ritrovo ad analizzare siti multilingua (con più di 5 lingue) e quindi di un contenuto identico ma in lingue differenti.

Sto utilizzando scrapy, nel setting.py si può settare la lingua di default dello spyder, ma questo significa solo che partirà dalle pagine in inglese, per poi continuare con le altre lingue.

Come posso fare?

Grazie