[Thread Ufficiale] TP-Link TD-W8970v1 - Firmware OpenWRT

[matteo85]

Originariamente inviato da avware

Qualcuno di voi ha notato dei "eth0: tx ring full" nel dmesg ? Sto cercando di capire da cosa sono causati e il pezzo di codice imputato è questo:

       len = skb->len < ETH_ZLEN ? ETH_ZLEN : skb->len;

       if ((desc->ctl & (LTQ_DMA_OWN | LTQ_DMA_C)) || ch->skb[ch->dma.desc]) {
               netdev_err(dev, "tx ring full\n");
               netif_tx_stop_queue(txq);
               return NETDEV_TX_BUSY;
       }

Ma non capisco minimamente cosa fa.. any idea ?

Il driver ha un buffer di 64 pacchetti, mette i pacchetti in questo buffer e l'hardware li manda e li marca come liberi rimuovendo il bit LTQ_DMA_C (completo) dal descrittore.
A volte capita che deve aggiungere un pacchetto a questo buffer ma tutti i descrittori sono ancora occupati, questo vuol dire che l'hardware si è bloccato.
In tal caso viene resettato l'hardware e droppati i pacchetti nel buffer.

[avware]

Originariamente inviato da blackhole00

https://dev.openwrt.org/ticket/14163
https://dev.openwrt.org/ticket/12105

Si avevo trovato

Originariamente inviato da matteo85

Il driver ha un buffer di 64 pacchetti, mette i pacchetti in questo buffer e l'hardware li manda e li marca come liberi rimuovendo il bit LTQ_DMA_C (completo) dal descrittore.
A volte capita che deve aggiungere un pacchetto a questo buffer ma tutti i descrittori sono ancora occupati, questo vuol dire che l'hardware si è bloccato.
In tal caso viene resettato l'hardware e droppati i pacchetti nel buffer.

Ciao matteo, è come temevo: discutevo di questa cosa che hai spiegato, su un chan irc #kernel, mi sembrava di aver capito che l'hardware non riusciva a stare dietro al flusso proveniente dalla rete. Quello che non avevo capito è che era costretto a resettarsi e buttar via tutto lol ..tranquilli questo comportamento io ce l'ho sul fratellino di questo router (l'architettura è la stessa) quindi col tplink non dovrebbe accadere. Grazie per la spiegazione, ora ti chiedo.. secondo te è fattibile un workaround ? Chessò un "attendi finché non si libera" oppure un overclock del soc.

[matteo85]

Originariamente inviato da avware

Si avevo trovato

Ciao matteo, è come temevo: discutevo di questa cosa che hai spiegato, su un chan irc #kernel, mi sembrava di aver capito che l'hardware non riusciva a stare dietro al flusso proveniente dalla rete. Quello che non avevo capito è che era costretto a resettarsi e buttar via tutto lol ..tranquilli questo comportamento io ce l'ho sul fratellino di questo router (l'architettura è la stessa) quindi col tplink non dovrebbe accadere. Grazie per la spiegazione, ora ti chiedo.. secondo te è fattibile un workaround ? Chessò un "attendi finché non si libera" oppure un overclock del soc.

veramente tutti i driver fanno così, quando l'HW si blocca resettano tutto e droppano, solo che non hanno la stampa.
quello della wifi ha persino un contatore in /sys

root@modem:~# cat /sys/kernel/debug/ieee80211/phy0/ath9k/reset 
    Baseband Hang:  0
Baseband Watchdog: 30

[avware]

Originariamente inviato da matteo85

Vi informo che ho appena committato uno script che blocca in tutta la rete i server di advertising, praticamente quando siete in wifi da qualunque pc, telefono, tablet, ecc. non vedete banner in nessun sito o app

Stavo cercando un meccanismo simile però basato su iptables. L'idea sarebbe eseguire drop su determinate richieste da parte di un range di ip: per farla breve un meccanismo peer guardian dentro al router. Il problema è che spesso si tratta di range anche molto grandi (tipo 200k indirizzi ip) e non so che limite hanno fisicamente questi aggeggi mips.

Edit: esempio

avware@asus-k53sc:~$ cat ipfilter.dat | wc -l
215992

avware@asus-k53sc:~$ tail -3f ipfilter.dat 
253.000.000.000 - 253.255.255.255 , 000 , Bogon
254.000.000.000 - 254.255.255.255 , 000 , Bogon
255.000.000.000 - 255.255.255.255 , 000 , Bogon

[matteo85]

non è che se il range è grande ipfilter occupa più IP, lo spazio in RAM è sempre quello

[blackhole00]

Originariamente inviato da matteo85

non è che se il range è grande ipfilter occupa più IP, lo spazio in RAM è sempre quello

Si...ma nel caso del tuo script banhost il file hosts diventa di circa 15.000 righe, quindi 15.000 controlli in RAM (o molti di meno se indicizzati) per ogni download di dati...mi piacerebbe capire in termini di velocità se è meglio tale soluzione (in cui, seppur velocemente, faccio tanti controlli ma evito tempo per il download della pubblicità) o quella classica (in cui non faccio controlli ma scarico le pubblicità).

[matteo85]

Originariamente inviato da blackhole00

Si...ma nel caso del tuo script banhost il file hosts diventa di circa 15.000 righe, quindi 15.000 controlli in RAM (o molti di meno se indicizzati) per ogni download di dati...mi piacerebbe capire in termini di velocità se è meglio tale soluzione (in cui, seppur velocemente, faccio tanti controlli ma evito tempo per il download della pubblicità) o quella classica (in cui non faccio controlli ma scarico le pubblicità).

E quanto ci mette un processore da 500 MHz a scorrere un array da 15000 righe? 1 millisecondo o meno?

[blackhole00]

Originariamente inviato da matteo85

E quanto ci mette un processore da 500 MHz a scorrere un array da 15000 righe? 1 millisecondo o meno?

Forse anche meno hai ragione se poi il file hosts è indicizzato dal sistema il tempo sarebbe praticamente nullo (ricerca binaria ad esempio)...

Ah dimenticavo: nel tuo script banhost non vedo dove sovrascrivi il file hosts (forse aggiorni e scrivi solo quello in temp)

Ti allego un altro script interessante trovato in rete che si appoggia a 4 blacklist pubblicitarie, ne fa il merge ed elimina eventuali duplicati, lo trovi ---> QUI, eccotelo di seguito, così se vuoi puoi aggiornare il tuo

#!/bin/bash

# If this is our first run, save a copy of the system's original hosts file and set to read-only for safety
if [ ! -f ~/hosts-system ]
then
echo "Saving copy of system's original hosts file..."
cp /etc/hosts ~/hosts-system
chmod 444 ~/hosts-system
fi

# Perform work in temporary files
temphosts1=$(mktemp)
temphosts2=$(mktemp)

# Obtain various hosts files and merge into one
echo "Downloading ad-blocking hosts files..."
wget -nv -O - http://winhelp2002.mvps.org/hosts.txt >> $temphosts1
wget -nv -O - http://hosts-file.net/ad_servers.asp >> $temphosts1
wget -nv -O - http://someonewhocares.org/hosts/hosts >> $temphosts1
wget -nv -O - "http://pgl.yoyo.org/adservers/serverlist.php?hostformat=hosts&showintro=0&mimetype=plaintext" >> $temphosts1

# Do some work on the file:
# 1. Remove MS-DOS carriage returns
# 2. Delete all lines that don't begin with 127.0.0.1
# 3. Delete any lines containing the word localhost because we'll obtain that from the original hosts file
# 4. Replace 127.0.0.1 with 0.0.0.0 because then we don't have to wait for the resolver to fail
# 5. Scrunch extraneous spaces separating address from name into a single tab
# 6. Delete any comments on lines
# 7. Clean up leftover trailing blanks
# Pass all this through sort with the unique flag to remove duplicates and save the result
echo "Parsing, cleaning, de-duplicating, sorting..."
sed -e 's/\r//' -e '/^127.0.0.1/!d' -e '/localhost/d' -e 's/127.0.0.1/0.0.0.0/' -e 's/ \+/\t/' -e 's/#.*$//' -e 's/[ \t]*$//' < $temphosts1 | sort -u > $temphosts2

# Combine system hosts with adblocks
echo Merging with original system hosts...
echo -e "\n# Ad blocking hosts generated "$(date) | cat ~/hosts-system - $temphosts2 > ~/hosts-block

# Clean up temp files and remind user to copy new file
echo "Cleaning up..."
rm $temphosts1 $temphosts2
echo "Done."
echo
echo "Copy ad-blocking hosts file with this command:"
echo " sudo cp ~/hosts-block /etc/hosts"
echo
echo "You can always restore your original hosts file with this command:"
echo " sudo cp ~/hosts-system /etc/hosts"
echo "so don't delete that file! (It's saved read-only for your protection.)"
echo

[matteo85]

non sovrascrivo hosts, ne creo un altro in /tmp/banhost e poi dico a dnsmasq di caricarlo (quest'ultimo passo devi farlo a mano) così:

config dnsmasq
        option domainneeded '1'
        option boguspriv '1'
        option filterwin2k '0'
        ...
        list addnhosts /tmp/banhost

[avware]

Originariamente inviato da matteo85

E quanto ci mette un processore da 500 MHz a scorrere un array da 15000 righe? 1 millisecondo o meno?

Sicuramente un tempo trascurabile, ma io non sottovaluterei l'ipotesi di blackhole (che ha un taglio tecnico/da programmatore e aggiungo che mi ha lasciato piacevolmente colpito visto che oggi c'è così tanta potenza di calcolo che è diventato quasi "pesante" pensare alle ottimizzazioni e non lo fa quasi più nessuno). Ora non saprei calcolare l'efficienza nell'uso del file hosts, so per certo che al crescere del numero di ip c'è chi ha abbandonato un'approccio di filtraggio basato su iptables in favore di ipset (un tantinello più complesso ma circa 10 volte più veloce). Potrebbe essere interessante capire quanto influiscono globalmente in termini di velocità tutte quelle regole.

Originariamente inviato da matteo85

non sovrascrivo hosts, ne creo un altro in /tmp/banhost e poi dico a dnsmasq di caricarlo (quest'ultimo passo devi farlo a mano) così:

config dnsmasq
        option domainneeded '1'
        option boguspriv '1'
        option filterwin2k '0'
        ...
        list addnhosts /tmp/banhost

Non voglio intromettermi nel modo di fare le cose, è che a me sembra un pò macchinoso. Se può interessarvi sto lavorando a quegli script bash per filtrare degli ip direttamente a monte. Dato che, neanche a farlo apposta, mi sono scontrato sull'enorme mole di indirizzi e ci vuole un sacco di tempo ad aggiungere 250k regole, se volete condivido volentieri con voi il mio lavoro ..ora sto cercando un modo veloce per aggiungere tutte queste regole ad iptables (o qualsiasi altra cosa netfilter-based).

[alfonsor]

non c'è il minimo dubbio che il metodo iptables non funziona, ma non funziona manco su un computer che fa da router figurarsi si questi domestici

è troppo ma troppo oneroso per la cpu esaminare ogni singola regola per vedere se droppare un pacchetto

appena più efficienti sarebbe usare ipset, ma pure questo non arriva all'efficienza di dnsmasq nel memorizzare e cercare gli hosts nella sua tabella

certamente il metodo migliore è un proxy, come tinyproxy

[avware]

Originariamente inviato da alfonsor

non c'è il minimo dubbio che il metodo iptables non funziona, ma non funziona manco su un computer che fa da router figurarsi si questi domestici

è troppo ma troppo oneroso per la cpu esaminare ogni singola regola per vedere se droppare un pacchetto

appena più efficienti sarebbe usare ipset, ma pure questo non arriva all'efficienza di dnsmasq nel memorizzare e cercare gli hosts nella sua tabella

certamente il metodo migliore è un proxy, come tinyproxy

Ciao Alf, si tiny va bene per filtrare traffico http ..in verità era mia intenzione filtrare qualsiasi tipo di pacchetto proveniente da un gruppo di ip. Mi sto avvicinando a questo using-nfqueue-and-libnetfilter_queue/ (se però è una strada già percorsa magari fatemi sapere che evito)

[alfonsor]

mai usato, per cui non so; penso che tutto dipende da come memorizzi gli indirizzi e come li ricerchi; anche se andare in user space perdi sempre molto tempo

certo sempre meglio che migliaia di regole iptables, cosa che è assolutamente impraticabile

[matteo85]

Quante seghe mentali...

Tempo richiesto per fare 100 query DNS senza lista:

root@apu:~# time for i in {1..100} ; do host -t a www.winaproduct.com ; done |tail -1
winaproduct.com has address 72.37.217.251

real    0m3.313s
user    0m2.510s
sys     0m0.600s

Tempo richiesto per fare 100 query DNS con la lista caricata:

root@apu:~# time for i in {1..100} ; do host -t a www.winaproduct.com ; done |tail -1
www.winaproduct.com has address 0.0.0.0

real    0m3.278s
user    0m2.270s
sys     0m0.840s

il caso è chiuso

[alfonsor]

matteo non sono "seghe mentali"; per il semplicissimo fatto che con dnsmasq (che come vedi ho detto che funziona senza confronto meglio di migliaia di regole iptables) blocchi i nomi, non blocchi gli ip

comprenderai che ci sono ip da bloccare esattamente come nomi da risolvere?

per cui, è ovvio che dnsmasq è una soluzione ottima per piccoli router giocattolo, non è "la soluzione"

[matteo85]

la query DNS viene fatta prima della connessione.
se blocchi la query DNS risparmi pure il tempo della connessione, senza contare che gli IP delle grosse CDN possono cambiare spesso

[alfonsor]

la risoluzione del nome viene fatta prima della connessione, perché la connessione ha bisogno di un ip non di un nome; se hai già un ip, non c'è alcuna risoluzione del nome

infatti ci sono tantissimi, in egual numero a liste di nomi, ip che vengono direttamente usati per le pubblicità

quando carichi un sito qualsiasi che vuole aprire pubblicità, quello puà benissimo usare ip e non nomi da risolvere

questa è la ragione per la quale il blocco si fa non tanto con file di host ma con proxy; il blocco di qualcosa sul web si fa coi proxy

chiaramente un proxy, anche il più stupido come tinyproxy, pesa e consuma, per questo nei router giocattolo (= qualsiasi router di queste pagine) si realizza spesso e volentieri con file di host da dare in pasto al cliente/server che gira nel router

andare alla ricerca di soluzioni differenti, non è perdita di tempo

[avware]

Originariamente inviato da alfonsor

andare alla ricerca di soluzioni differenti, non è perdita di tempo

Quoto.. Inoltre vedere un pò di programmazione C, ogni tanto, non guasta mai
Dai matteo, tu più di tutti (da developer openwrt) sai bene che la parte divertente non è scegliere soluzioni ma implementarle. Il tuo contributo è importante anche per capire la fattibilità di determinate idee. Io poi "sviluppando" con java, ho i miei limiti col C.. però appena riesco ad avere qualcosa di funzionante lo condivido.

[matteo85]

Originariamente inviato da avware

Quoto.. Inoltre vedere un pò di programmazione C, ogni tanto, non guasta mai
Dai matteo, tu più di tutti (da developer openwrt) sai bene che la parte divertente non è scegliere soluzioni ma implementarle. Il tuo contributo è importante anche per capire la fattibilità di determinate idee. Io poi "sviluppando" con java, ho i miei limiti col C.. però appena riesco ad avere qualcosa di funzionante lo condivido.

volevo solo fare capire che avere un file hosts da 15.000 righe non rallenta le query DNS

[avware]

Sto cercando di compilare questo esempio d'uso della libnetfilter_queue ma senza riuscirci (già la versione originale non si compilava) l'ho anche alleggerita togliendo parti di codice ma non ne vuole sapere.. il gcc mi torna:

avware@asus-k53sc:~$ gcc avware.c 
/tmp/ccRd1NXS.o: nella funzione "print_pkt":
avware.c:(.text+0x1c): riferimento non definito a "nfq_get_msg_packet_hdr"
/tmp/ccRd1NXS.o: nella funzione "cb":
avware.c:(.text+0xc9): riferimento non definito a "nfq_set_verdict"
/tmp/ccRd1NXS.o: nella funzione "main":
avware.c:(.text+0x169): riferimento non definito a "nfq_open"
avware.c:(.text+0x1c0): riferimento non definito a "nfq_unbind_pf"
avware.c:(.text+0x20a): riferimento non definito a "nfq_bind_pf"
avware.c:(.text+0x26f): riferimento non definito a "nfq_create_queue"
avware.c:(.text+0x2cb): riferimento non definito a "nfq_set_mode"
avware.c:(.text+0x310): riferimento non definito a "nfq_fd"
avware.c:(.text+0x36c): riferimento non definito a "nfq_handle_packet"
avware.c:(.text+0x3b3): riferimento non definito a "nfq_destroy_queue"
avware.c:(.text+0x3cc): riferimento non definito a "nfq_close"
collect2: error: ld returned 1 exit status

boh.. Cmq a grandi linee l'idea è:
- aprire un file leggendo le n righe (nel mio caso 250 mila regole che possono prevedere singolo ip oppure range di ip);
- organizzare in memoria una struttura ad-hoc;
- fare in modo che questo codice C ad ogni invocazione vada a cercare in questa struttura

ps: scusate se sto andando troppo offtopic, me ne vo in sezione programmazione e poi torno

Edit: ok così compila

avware@asus-k53sc:~$ gcc avware.c -lnetfilter_queue