Qu'est-ce qu'une exclusion de robots ?

Le robots.txt protocole, également connu par les noms protocole d'exclusion de robots ou standard d'exclusions de robots n'est pas un standard officiel mais une convention privé que les membres du robots mailing list dont Google, Yahoo et MSN ont signé en Juin 1994. Les robots des moteurs de recherche l'acceptent donc mais pas les robots destinées à chercher les adresses mail ou ceux qui cherchent de formulaires non sécurisées pour envoyer du spam.
 
Ce protocole règle en principe de quelle manière les robots accèdent aux fichiers sur les serveurs et comment le fichier robots.txt doit être rédigé. Cela n'empêche pas les navigateurs de visualiser les pages mais "empêche" seulement les robots de les indexer dans leurs bases de données pour que ces pages ne soient pas affichées dans les résultats de recherches.
 
Le standard des exclusions des robots permet donc, à l'aide du fichier robots.txt, de garder une partie des pages privées. Cela peut concernent de photos seulement destinées à un groupe restreinte, de fichiers qui ne concernent que certaines personnes ou, le plus souvent pour pouvoir optimiser les pages Web pour le référencement. Grâce à ce protocole les Webmasters sont donc capable d'éviter le blocage de robots et de leur permettre à scruter les pages plus facilement et plus rapidement.
 
Le protocole des exclusions de robots remplace aujourd'hui également la balise meta concernant les robots et permet une gestion plus précise des fichiers à indexer ou non.
 
mot prochain : protocole
 
Copyright 2007, mariposa.eu.com
 
* Les mots en gras font partie de notre Lexique d'Informatique