Se i forum o i siti usano il file robots.txt non c'è niente da fare per motori di ricerca, offline browser, download manager e browser elencati:
http://pro.html.it/articoli/id_136/idcat_28/pro.html
Offilne browser è il termine tecnico che indica la categoria di programmi in grado di scaricare parte o un intero sito web o più siti.