Ciao121
29-10-2011, 12:51
Ciao a tutti,
sto sviluppando uno spider + crawler che indicizza il web. Ci sono 50 istanze del crawler che si collegano ai siti web contemporaneamente.
Fino a qualche giorno fa tutto funzionava molto bene; praticamente tutte le istanze facevano il loro lavoro in modo egregio.
Da un paio di giorni circa la metà delle istanze fallisce. Ho pensato ad un problema della rete locale, ma dopo aver approfondito la questione ho escluso che si tratti di ciò.
Ho pensato che magari il provider (ho alice 7MB di Telecom), viste le molte connessione avesse posto delle limitazioni. Ho provato ad usare un client P2P che apre molte connessioni (più di quelle aperte dai crawler) e non c'è nessun problema.
Il problema c'è solamente quando apro connessioni verso server web. E' possibile che Telecom applichi un limite solo per la porta 80? E vi viene eventualmente in mente un modo per averne la certezza?
Mi sento come l'utente che quando ha un problema dice di avere un virus e nel 90% dei casi non è quello il motivo. Però sono due giorni che controllo "lato mio" e non trovo nulla.
Allego un grafico che mostra il degradare della connettività.
Sono terrorizzato all'idea di chiamare il 187 e spiegare questo problema all'operatore :)
sto sviluppando uno spider + crawler che indicizza il web. Ci sono 50 istanze del crawler che si collegano ai siti web contemporaneamente.
Fino a qualche giorno fa tutto funzionava molto bene; praticamente tutte le istanze facevano il loro lavoro in modo egregio.
Da un paio di giorni circa la metà delle istanze fallisce. Ho pensato ad un problema della rete locale, ma dopo aver approfondito la questione ho escluso che si tratti di ciò.
Ho pensato che magari il provider (ho alice 7MB di Telecom), viste le molte connessione avesse posto delle limitazioni. Ho provato ad usare un client P2P che apre molte connessioni (più di quelle aperte dai crawler) e non c'è nessun problema.
Il problema c'è solamente quando apro connessioni verso server web. E' possibile che Telecom applichi un limite solo per la porta 80? E vi viene eventualmente in mente un modo per averne la certezza?
Mi sento come l'utente che quando ha un problema dice di avere un virus e nel 90% dei casi non è quello il motivo. Però sono due giorni che controllo "lato mio" e non trovo nulla.
Allego un grafico che mostra il degradare della connettività.
Sono terrorizzato all'idea di chiamare il 187 e spiegare questo problema all'operatore :)