Directive Noindex et robots.txt

Et voila, un jour après le printemps et un jour avant de se prendre un nuage radioactif sur la tête (ca c’est une private joke pour ceux qui me suivent sur twitter), j’écris cet article qui à la base n’était pas prévu. Pas prévu pourquoi ? Parce que j’ai déjà 3 autres articles à finir. Parce que cette découverte n’est pas une révolution en soi et parce que j’ai déjà échangé avec la personne intéressée sur twitter (@Sventovit) et entre normands on se comprend. Pourquoi l’écris-je alors ce billet ? Parce que j’ai une bouche et il y a des choses qui m’irritent dans la vie, et pour ces choses là, la cetirizine n’y fait malheurseusement pas grand chose.

Comment monte la tension ?

Et bien c’est assez simple. Twitter c’est bien pour la veille, pour échanger et accessoirement pour perdre du temps. Suite à une question de Philippe alias @Sventovit sur la prise en compte par Google de la directive Noindex dans le fichier robots.txt, je lui réponds que oui Google en tiens compte.
Je n’affirme pas ça dans le vent puisque c’est un test que j’ai mis en place en 2008 et qui d’après le GWT et les (non-) résultats dans les SERPs de Google fonctionne toujours. Mais ça nous le verrons par la suite.

Pour tout remettre dans son contexte, voici le sujet :

Et voici la mention qui agace

Alors oui, cette personne a 10 fois plus de followers que moi (ce n’est pas le sujet et perso je m’en br**le), oui je passe pour un Geek (que je ne suis absolument pas) et cerise sur le gâteau, l’annonce que je fait passe pour fausse, d’ou cet article.
Alors cher monsieur que je ne connais pas mais que me fait passer pour un con, voici LES FAITS.

La directive Noindex dans le robots.txt

Je ne suis pas un grand fan du robots.txt comme vous avez surement pu le constater dans l’article Robots.txt, ce qu’il faut eviter. Cependant je suis curieux et plutôt cartesien donc quand je lis quelque chose d’intrigant, surprenant ou paraissant impropable, quand j’ai le temps et les moyens de tester, je le fais.

Remontons donc le temps en Novembre 2007 ou un célèbre sebastian éveille ma curiosité avec son article Q&A: An undocumented robots.txt crawler directive from Google et encore plus avec les résultats de ces tests et une annonce de John Müller Validate your robots.txt – Googlebot becomes smarter.
Je décide donc de mettre cela en place sur quelques sites et de vérifier la véracité de ces propos.
Début 2008 je mets ces quelques sites dans le GWT, et effectivement, cela fonctionne.

Donc pour les sceptiques qui pensent que je balance de l’intox (les screens sont d’aujourd’hui)

Et il en résulte :

Alors oui, comme je le dis dans l’intro de ce billet ce n’est pas une révolution, je lui préfère d’autres méthodes et oui cher monsieur cela fonctionne parfaitement bien avec Google (pour les autres je n’affirme rien puisque je n’ai pas testé).

En conclusion, avant de balancer une remarque de ce genre sur twitter, on se renseigne hein, c’est pas parce que ce n’est pas écrit dans les sacro-saintes Google Guidelines ou ailleurs que ça ne fonctionne pas, ça évitera de faire passer les gens qui ont testé pour des cons. D’ailleurs le nucléaire c’est pas dangereux, ont peu même bouffer de l’uranium et du plutonium, c’est totalement inoffensif pour la santé => Humour #Geek.
Adeptes du content is truth, Salut.