Le robots.txt de la Maison Blanche
Le robots.txt nouveau de la Maison Blanche est arrivé !
La liste des changements par rapport à la version GW Bush est tellement grande qu’on va résumé simplement :
L’administration Bush bloquait beaucoup de pages :
User-agent: *
Disallow: /cgi-bin
Disallow: /search
Disallow: /query.html
Disallow: /omb/search
Disallow: /omb/query.html
Disallow: /expectmore/search
Disallow: /expectmore/query.html
Disallow: /results/search
Disallow: /results/query.html
Disallow: /earmarks/search
Disallow: /earmarks/query.html
Disallow: /help
Disallow: /911/911day/text
Disallow: /911/heroes/text
etc … (si vous êtes intéressé, l’original fait plus de 2400 lignes)
Obama quand à lui est beaucoup plus permissif et ne bloque que le contenu “inutile” (d’un point de vue lecteur) :
User-agent: *
Disallow: /includes/
C’était assez prévisible qu’il poursuive ses efforts de communication sur Internet puisque le buzz qu’il avait su créer lors de sa campagne l’a certainement bien aidé à remporter ces élections.
Pour info, le fichier robots.txt permet d’indiquer aux moteurs de recherche ce qu’ils peuvent ou de doivent pas indexer.
Source : Kottke