Torna indietro   Hardware Upgrade Forum > Software > Programmazione

Apple MacBook Air M3: chi deve davvero comprarlo? La recensione
Apple MacBook Air M3: chi deve davvero comprarlo? La recensione
A distanza di circa 8 mesi arriva l’importante aggiornamento dei MacBook Air: nessun cambiamento estetico, ma una revisione hardware interna con l’upgrade al processore M3. Le prestazioni migliorano rispetto alle generazioni precedenti, e questo fa sorgere una domanda spontanea: a chi è rivolto oggi questo laptop? Cerchiamo di capirlo nella nostra recensione 
ASUS ROG Swift OLED PG49WCD: quando QD-OLED e ultrawide si fondono
ASUS ROG Swift OLED PG49WCD: quando QD-OLED e ultrawide si fondono
Da ASUS un monitor particolare ma molto completo: principalmente indirizzato al videogiocatore, può essere sfruttato con efficacia anche per attività creative e di produzione multimediale
Dreame L10s Pro Ultra Heat: la pulizia di casa tutta sostanza
Dreame L10s Pro Ultra Heat: la pulizia di casa tutta sostanza
Il nuovo robot aspirapolvere domestico di Dreame abbina funzionalità complete a un moccio flottante che raggiunge al meglio gli angoli delle pareti. Un prodotto tutto in uno semplice da utilizzare ma molto efficace, in grado di rispondere al meglio alle necessità di pulizia della casa
Tutti gli articoli Tutte le news

Vai al Forum
Rispondi
 
Strumenti
Old 15-07-2021, 09:19   #1
zabnicola
Member
 
Iscritto dal: Nov 2020
Messaggi: 75
[RETI] Web spider, da indirizzo IP a hostname raggiungibile da barra web indirizzi

Sto sto guardando questo programmino. https://github.com/eywu/goodbots Dato un indirizzo ip mi fa il reverse dns lookup. Quindi echo "203.208.60.1" | ./goodbots mi restituisce crawl-203-208-60-1.googlebot.com ma mettendolo nella barra degli indirizzi ottengo pagina non raggiungibile perchè?
zabnicola è offline   Rispondi citando il messaggio o parte di esso
Old 15-07-2021, 11:31   #2
wingman87
Senior Member
 
Iscritto dal: Nov 2005
Messaggi: 2745
Il fatto che un ip abbia un hostname non implica che esso abbia anche un servizio web attivo, potrebbe avere altri servizi o potrebbe non essere accessibile se non sotto particolari condizioni (ad esempio per via di un filtro IP).
wingman87 è offline   Rispondi citando il messaggio o parte di esso
Old 15-07-2021, 13:00   #3
zabnicola
Member
 
Iscritto dal: Nov 2020
Messaggi: 75
Ok grazie. Vorrei però implementare uno web spider che fa il crawl a partire da delle keywords. Come potrei fare? Avevo optato per provare una serie di indirizzi ip e fare il reverse dns lookup ma come abbiamo detto non necessariamente mi restituisce un indirizzo web attivo quel indirizzo IP. L' alternativa quale può essere?
zabnicola è offline   Rispondi citando il messaggio o parte di esso
Old 15-07-2021, 13:10   #4
zabnicola
Member
 
Iscritto dal: Nov 2020
Messaggi: 75
Inoltre tutti i crawler visti fino ora da me chiedono di partire da una lista di urls. Ma a me serve recuperare questa lista di urls. Esiste un database di domini che posso sfruttare? I dns server fanno questo lavoro ma come si interrogano per ottenere la lista di urls?
zabnicola è offline   Rispondi citando il messaggio o parte di esso
Old 15-07-2021, 13:23   #5
misterx
Senior Member
 
Iscritto dal: Apr 2001
Città: Milano
Messaggi: 3593
i vari comandi ping e nslookup fanno la stessa cosa
misterx è offline   Rispondi citando il messaggio o parte di esso
Old 15-07-2021, 14:43   #6
zabnicola
Member
 
Iscritto dal: Nov 2020
Messaggi: 75
Con nslookup posso recuperare un nome di dominio registrato .it?
cioè *.it un comando che lista tutti i domini "it" registrati.

Oppure avevo pensato di creare un generatore di stringhe di esempio "acidfrder".it e controllare con un servizio web wiktionary se acidfrder è una parola italiana. E formare cosi un url da registrare nella lista urls. Ci sono altre possibilità?

Ultima modifica di zabnicola : 15-07-2021 alle 14:50.
zabnicola è offline   Rispondi citando il messaggio o parte di esso
Old 15-07-2021, 19:40   #7
misterx
Senior Member
 
Iscritto dal: Apr 2001
Città: Milano
Messaggi: 3593
non ho capito se vuoi conoscere (enumerare) tutti i siti .it
misterx è offline   Rispondi citando il messaggio o parte di esso
Old 15-07-2021, 20:35   #8
zabnicola
Member
 
Iscritto dal: Nov 2020
Messaggi: 75
Quote:
Originariamente inviato da misterx Guarda i messaggi
non ho capito se vuoi conoscere (enumerare) tutti i siti .it
Si mi interessare elencare tutti i siti .It. Penso che un registro di domini abbia la lista dei siti It, ma non la forniscono pubblicamente che io sappia.
zabnicola è offline   Rispondi citando il messaggio o parte di esso
Old 17-07-2021, 17:11   #9
zabnicola
Member
 
Iscritto dal: Nov 2020
Messaggi: 75
Nessuno?
zabnicola è offline   Rispondi citando il messaggio o parte di esso
Old 18-07-2021, 16:04   #10
zabnicola
Member
 
Iscritto dal: Nov 2020
Messaggi: 75
Ho creato il generatore di stringhe. Ma mi occorre un servizio rest api per fare il check della parola generata. Conoscete qualche servizio restfull api di dizionario italiano? ho trovato questo ma non so quante parole possiede.
https://dictionaryapi.dev/
zabnicola è offline   Rispondi citando il messaggio o parte di esso
Old 18-07-2021, 18:43   #11
misterx
Senior Member
 
Iscritto dal: Apr 2001
Città: Milano
Messaggi: 3593
non ho capito cosa stai facendo o almeno: hai costruito un generatore di parole e vuoi testare con queste se esiste il sito relativo?

esempio:

abcd.it
misterx è offline   Rispondi citando il messaggio o parte di esso
Old 18-07-2021, 20:03   #12
zabnicola
Member
 
Iscritto dal: Nov 2020
Messaggi: 75
Posso postare il codice se volete. Si si, ho generato delle stringhe abcdef lunghe 6 caratteri e le sto provando se ce un corrispettivo url valido. Pero' mi servirebbe un dizionario di parole italiane da scaricare che è meglio partire da quelle. Dove le trovo?
E' per un lavoro di web crawler.
zabnicola è offline   Rispondi citando il messaggio o parte di esso
Old 18-07-2021, 20:47   #13
misterx
Senior Member
 
Iscritto dal: Apr 2001
Città: Milano
Messaggi: 3593
molti siti usano sigle, quindi il dizionario della lingua italiana servirebbe a poco nulla. Meglio generare i nomi attraverso le combinazioni di lettere.
misterx è offline   Rispondi citando il messaggio o parte di esso
 Rispondi


Apple MacBook Air M3: chi deve davvero comprarlo? La recensione Apple MacBook Air M3: chi deve davvero comprarlo...
ASUS ROG Swift OLED PG49WCD: quando QD-OLED e ultrawide si fondono ASUS ROG Swift OLED PG49WCD: quando QD-OLED e ul...
Dreame L10s Pro Ultra Heat: la pulizia di casa tutta sostanza Dreame L10s Pro Ultra Heat: la pulizia di casa t...
HONOR Magic6 Pro: come funziona Magic Portal, il modo ''intelligente'' di condividere HONOR Magic6 Pro: come funziona Magic Portal, il...
L'innovazione richiede fiducia: Workday si propone come guida nell'era dell'IA L'innovazione richiede fiducia: Workday si propo...
Scende di prezzo il drone DJI Air 2S Fly...
XPeng sbarca nel mercato tedesco con P7 ...
Sorpresa per gli utenti Apple: iPhone 12...
SU7, la super auto elettrica di Xiaomi p...
Il Mac Mini 2023 con chip M2 8/256 GB è ...
Questo Mini PC ha un super prezzo: diffi...
Il doppio gioco di Twitter: battaglie le...
Top 7 Amazon per risparmiare tantissimo:...
Apple premia 350 studenti ''maghi'' prog...
Apple Store: con questa macchina si poss...
iPad Pro 2024 arriveranno a maggio. Paro...
JBL Soundgear Sense: contatto costante c...
Prezzo bomba: il super tablet 10.1"...
Google torna sui suoi passi: Pixel 8 ric...
TOP! Display gaming 27" 2560x1440 p...
Chromium
GPU-Z
OCCT
LibreOffice Portable
Opera One Portable
Opera One 106
CCleaner Portable
CCleaner Standard
Cpu-Z
Driver NVIDIA GeForce 546.65 WHQL
SmartFTP
Trillian
Google Chrome Portable
Google Chrome 120
VirtualBox
Tutti gli articoli Tutte le news Tutti i download

Strumenti

Regole
Non Puoi aprire nuove discussioni
Non Puoi rispondere ai messaggi
Non Puoi allegare file
Non Puoi modificare i tuoi messaggi

Il codice vB è On
Le Faccine sono On
Il codice [IMG] è On
Il codice HTML è Off
Vai al Forum


Tutti gli orari sono GMT +1. Ora sono le: 11:09.


Powered by vBulletin® Version 3.6.4
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Served by www2v