Outils SEO
Testeur de robots.txt : ce que les robots ont le droit d’explorer
Récupère le fichier robots.txt de l’hôte saisi, indique s’il existe et s’il bloque tous les robots, et lit au passage les directives robots au niveau de la page.
Ce que teste cet outil
Les trois sont vérifiés ensemble à dessein. Contrôler l’exploration et contrôler l’indexation sont deux mécanismes distincts que l’on confond régulièrement, et une directive posée à un endroit contredit souvent celle posée ailleurs.
- Si /robots.txt existe sur l’hôte et renvoie bien 200, et non une page d’erreur HTML.
- Si le groupe user-agent générique bloque tout le site avec Disallow: /.
- La directive meta robots de la page, qui contrôle l’indexation et non l’exploration.
- L’en-tête X-Robots-Tag, qui remplit le même rôle pour n’importe quel type de ressource.
Lire le résultat
Un fichier qui renvoie 500 est pire qu’un fichier absent : Google peut suspendre l’exploration de tout l’hôte jusqu’au rétablissement, alors qu’un 404 propre est interprété comme « rien n’est bloqué ».
| Constat | Signification | Correction habituelle |
|---|---|---|
| robots.txt absent | Aucun fichier, ou il ne renvoie pas 200 | En ajouter un, ne serait-ce que pour déclarer le sitemap |
| Bloque tous les robots | Disallow: / dans le groupe générique | Le retirer — les règles de préproduction partent souvent par accident |
| meta robots noindex | La page demande à rester hors de l’index | Vérifier que c’est intentionnel |
| X-Robots-Tag noindex | Le même signal au niveau serveur | Regarder la configuration du serveur ou du CDN, pas le HTML |
Ce qu’un fichier robots.txt ne peut pas faire
robots.txt contrôle l’accès à l’exploration, rien d’autre. Il ne retire pas une page de la recherche, ne garantit aucune confidentialité et ne consolide pas les doublons. Bloquer une URL empêche au contraire Google d’y voir une balise noindex, et c’est pourquoi les deux ensemble laissent des pages coincées dans l’index. Pour choisir le bon contrôle, voir noindex ou robots.txt .
- L’outil teste-t-il un user-agent précis ?
- Il lit le groupe générique, celui qui s’applique à tout robot sans règles propres. Un robot disposant de son propre groupe n’obéit qu’à celui-ci : ces règles spécifiques se vérifient en lisant le fichier directement.
- Pourquoi indique-t-il un fichier absent alors que je peux l’ouvrir ?
- Le plus souvent l’URL renvoie une page HTML en 200 plutôt que du texte brut, ou le fichier existe sur www alors que le test a suivi l’hôte sans www. Dans les deux cas, il n’y a pas de robots.txt exploitable.
Autres outils
Cherche le sitemap comme le ferait un robot — d’abord la déclaration dans robots.txt, puis les emplacements conventionnels — puis vérifie que le document se parse en XML et compte les URL qu’il contient.
Lit l’URL canonique déclarée par la page, puis récupère cette adresse pour confirmer qu’elle répond, qu’elle ne redirige pas et qu’elle n’est pas en noindex — les trois façons dont une balise canonique devient silencieusement inopérante.
Analyse les données structurées de la page saisie, liste les types schema.org trouvés et signale les blocs qui ne se parsent pas ou auxquels manquent les propriétés requises par leur type.
Suit l’URL saisie à travers chaque saut, en indiquant le code de statut à chaque étape et la destination finale — le détail que le navigateur masque dès que la barre d’adresse se stabilise.
Charge la page indiquée, prélève un échantillon de ses liens internes et interroge chacun d'eux — en rapportant le code de statut renvoyé, pas la couleur du lien.
Contrôle tous les signaux qui décident si une page a le droit d’entrer dans l’index : le code de statut, l’accès dans robots.txt, la meta robots, l’en-tête X-Robots-Tag et la balise canonique.
Interroge le DNS en direct pour le domaine saisi et affiche les enregistrements publiés : les adresses vers lesquelles il résout, où part son courrier, et si les enregistrements TXT dont dépend l’authentification des e-mails sont présents.
Interroge le registre du nom de domaine via RDAP — le successeur structuré du WHOIS classique — et indique sa date d’enregistrement, son ancienneté actuelle, son registraire et la date d’expiration. Les domaines en .fr sont couverts : l’AFNIC publie du RDAP.
Saisissez un domaine pour voir sa date d’enregistrement, son âge, son expiration et son registrar. L’âge apporte du contexte, mais n’est pas un facteur de classement Google.
Ouvre une connexion TLS vers l’hôte saisi et rapporte le certificat présenté : l’émetteur, la fenêtre de validité, les jours restants et la version de protocole négociée.
Requête l’URL saisie et rapporte ce que le serveur renvoie dans ses en-têtes : les en-têtes de sécurité présents, la politique de cache, la compression éventuelle et la version HTTP négociée.