Dubbio su robots.txt

[Profeta11]

Piccolo dubbio: ho creato il file robots.txt con questa stringa

# This is your robots.txt file. Visit Options->Robots.txt to change this text.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /cgi-bin/

ora il crawler di google mi dice che non lo trova da 16 ore...

può essere che in questo modo abbia disabilitato la scansione delle cartelle ma che abbia inibito anche tutto il resto?