L’administration Bush bloquait beaucoup de pages :

User-agent: *
Disallow: /cgi-bin
Disallow: /search
Disallow: /query.html
Disallow: /omb/search
Disallow: /omb/query.html
Disallow: /expectmore/search
Disallow: /expectmore/query.html
Disallow: /results/search
Disallow: /results/query.html
Disallow: /earmarks/search
Disallow: /earmarks/query.html
Disallow: /help
Disallow: /911/911day/text
Disallow: /911/heroes/text

etc … (si vous êtes intéressé, l’original fait plus de 2400 lignes)

Obama quand à lui est beaucoup plus permissif et ne bloque que le contenu “inutile” (d’un point de vue lecteur) :

User-agent: *
Disallow: /includes/

C’était assez prévisible qu’il poursuive ses efforts de communication sur Internet puisque le buzz qu’il avait su créer lors de sa campagne l’a certainement bien aidé à remporter ces élections.

Pour info, le fichier robots.txt permet d’indiquer aux moteurs de recherche ce qu’ils peuvent ou de doivent pas indexer.

Source : Kottke