Robots.txt : gérer le crawl sans confondre indexation et sécurité

Publié 07/05/2026 · Mis à jour 22/10/2026 · SEO, SXO et visibilité · 4 min de lecture · Par Cyber Intelligence Embassy

À retenir

Robots.txt donne des règles de crawl aux robots qui les respectent. Il ne bloque pas l’accès des personnes et ne garantit pas qu’une URL disparaisse de Google.

Banc d’investigation numérique avec supports et outils de précision, sans personne

Dans cet article

Lire une règle sur les bonnes URL

Dans cet exemple, le groupe général interdit l’exploration de /internal-search/ mais autorise /internal-search/help/. Ces chemins sont illustratifs. La directive Sitemap indique une adresse de découverte ; elle ne commande pas l’indexation. Vérifiez aussi si un groupe plus spécifique s’applique au robot étudié.

User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xml

Choisir le contrôle adapté

Pour une ressource privée, imposez authentification et autorisation côté serveur. Un chemin cité dans robots.txt reste public.
Pour exclure une page publique de l’index, utilisez une directive noindex lisible par le robot : bloquer son crawl peut empêcher sa lecture.
Pour réduire le crawl de pages publiques sans valeur, ciblez les chemins nécessaires et vérifiez que les ressources utiles au rendu restent accessibles.

Vérifier la réponse réellement servie

Contrôlez le fichier à la racine du bon protocole, hôte et port, puis les URL exactes, la casse et les groupes applicables. Utilisez le rapport robots.txt et l’inspection d’URL dans Search Console pour les observations disponibles. Une modification peut demander un nouveau crawl avant de produire un effet visible.

Références primaires

Robots.txt : vérifier le chemin d’accès avant la règle

Une règle robots.txt agit sur l’exploration, pas comme une garantie de retrait de l’index. Si une page doit pouvoir être lue pour traiter une directive noindex, la bloquer à l’exploration peut créer un signal contradictoire.

Tester l’URL exacte et le groupe d’agent utilisateur concerné.
Comparer le fichier robots, la réponse HTTP et les directives de page.
Rejouer la découverte depuis les liens HTML après chaque changement.

Référence primaire : Google Search Central — Crawling and indexing. Méthode connexe : consulter le guide pratique.

Distinguer réponse HTTP et contenu rendu

Comparez le texte, les liens et les directives dans le HTML initial puis dans le rendu. Documentez les dépendances à un clic, une session ou une API. Google peut exécuter JavaScript, mais un rendu réussi ne garantit pas l’indexation ni la visibilité dans d’autres assistants.

Type, statut et date de capture
Texte et liens dans réponse initiale et rendu
Scripts, API, session et interactions nécessaires

Cas de recette à reproduire

Exemple fictif : ces données ne décrivent aucun client ni résultat réel.

Voir les données du cas

{
    "response_status": 200,
    "html_link": "<span onclick=\"navigate()\">Item</span>",
    "rendered_text": true,
    "script_failure_test": true
}

Décision attendue

Un span cliquable ne remplace pas un lien href. Vérifier découverte et contenu quand les scripts échouent.

Procédure de vérification

Capturez HTML reçu, contenu rendu et liens href.
Désactivez les scripts et testez la navigation essentielle.
Conservez texte, liens, canonical et robots des deux états.

Google Search Central — JavaScript SEO basics

Google exécute-t-il JavaScript ?

Oui, avec des limites et une phase de rendu. Vérifiez les résultats observés sur vos URL plutôt que de supposer que tout est traité.

Référence primaire : Google Search Central — JavaScript SEO basics. Méthode connexe : consulter le guide pratique.

Migration d’URL : préparer les correspondances et vérifier les redirections

Changer de domaine ou de structure sans perdre la destination utile des anciennes pages et de leurs traductions.

Ancienne URL et langue
Conservation, fusion ou retrait justifié
Cible finale, statut, canonical et alternatives

Référence primaire : Google Search Central — Site moves with URL changes. Méthode connexe : consulter le guide pratique.

Robots.txt : exploration, indexation et preuves

Lire les groupes avant la règle la plus longue

Deux groupes pour un même jeton se combinent ; le groupe * sert de repli et ne s’ajoute pas à un groupe spécifique. L’ordre des lignes ne constitue pas une règle de priorité générale.

Identifier le groupe applicable, puis les règles qui correspondent au chemin.
Retenir la correspondance la plus spécifique ; pour des règles équivalentes, la RFC recommande Allow.
Ne pas déduire un retrait de l’index ou une protection d’accès d’un simple Disallow.

Examiner les douze cas de robots.txt →

Références relues le 2026-10-22