Robots.txt: Crawling, Indexierung und Zugriff unterscheiden

Veröffentlicht · Aktualisiert · Online gefunden werden · 3 Min. Lesezeit · Von Cyber Intelligence Embassy

Kurz erklärt

Robots.txt gibt Regeln für kooperierende Crawler vor. Die Datei beschränkt keinen menschlichen Zugriff und garantiert keine Entfernung einer URL aus Google.

Leerer digitalforensischer Arbeitsplatz mit Datenträgern und Präzisionswerkzeugen Illustration · fiktive Szene
In diesem Artikel

Regeln an der richtigen URL lesen

Die allgemeine Gruppe im Beispiel sperrt /internal-search/, erlaubt aber /internal-search/help/. Die Pfade sind beispielhaft. Sitemap nennt eine Adresse zur Entdeckung, keinen Indexierungsbefehl. Prüfen Sie, ob eine spezifischere Crawler-Gruppe gilt.

User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xml

Das passende Mittel wählen

  • Private Ressourcen brauchen serverseitige Authentifizierung und Autorisierung. Ein robots.txt-Eintrag schützt sie nicht.
  • Zum Ausschluss einer öffentlichen Seite aus dem Index muss der Crawler noindex lesen können. Eine Crawling-Sperre kann dies verhindern.
  • Begrenzen Sie unnötiges Crawling gezielt und halten Sie Ressourcen für das Rendering erreichbar.

Die tatsächlich ausgelieferte Antwort prüfen

Prüfen Sie die Datei an der Wurzel des richtigen Protokolls, Hosts und Ports sowie genaue URLs, Großschreibung und Gruppen. Nutzen Sie robots.txt-Bericht und URL-Prüfung in Search Console. Sichtbare Änderungen können einen erneuten Crawl voraussetzen.

Primärquellen

Testen Sie den Zugriffspfad, bevor Sie die robots.txt-Datei ändern.

Eine robots.txt-Regel steuert das Crawling, nicht die garantierte Entfernung aus dem Index. Das Blockieren einer Seite, die zum Lesen einer noindex-Anweisung geladen werden muss, kann ein widersprüchliches Signal erzeugen.

  • Testen Sie die exakte URL und die zugehörige Crawler-Gruppe.
  • Vergleichen Sie die Robots-Regeln, die HTTP-Antwort und die Seitenanweisungen.
  • Wiederholen Sie die Suche über HTML-Links nach jeder Änderung.

Primärquelle: Google Search Central — Crawling and indexing. Verwandte Methode: den praktischen Leitfaden lesen.

Mit JavaScript gerenderte Inhalte

Empfangenes HTML kann von der Browseransicht abweichen.

  • Speichere empfangenes HTML und DOM nach JavaScript für dieselbe URL. Vergleiche Titel, Hauptantwort, href-Links und canonical.
  • Simuliere eine langsame oder fehlgeschlagene API ohne Anmeldung. Dauerhafte Ladeanzeigen oder leere Seiten mit 200 benötigen eine ausdrückliche Behandlung.
  • Prüfe, ob robots benötigte Ressourcen blockiert und eine tiefe URL direkt aufrufbar ist. Untersuche gerendertes HTML mit verfügbaren Inspektionswerkzeugen.

Nachvollziehbarer Abnahmefall

Fiktives Beispiel: Diese Daten beschreiben keine Kunden oder beobachteten Ergebnisse.

Falldaten anzeigen
{
    "response_status": 200,
    "html_link": "<span onclick=\"navigate()\">Item</span>",
    "rendered_text": true,
    "script_failure_test": true
}

Erwartete Entscheidung

Ein anklickbares span ersetzt keinen href-Link. Auch ohne Skripte prüfen.

Prüfverfahren

  1. HTML, gerenderten Inhalt und href-Links erfassen.
  2. Skripte abschalten; wesentliche Navigation testen.
  3. Canonical und Robots beider Zustände aufbewahren.

Google Search Central — JavaScript SEO basics

Beweist 200 die Indexierbarkeit des Inhalts?

Nein. Inhalt, Indexierungssteuerung und Ressourcen prüfen; der Status garantiert keine Indexierung.

Primärquelle: Google Search Central — JavaScript SEO basics. Verwandte Methode: den praktischen Leitfaden lesen.

URL-Migration

Jede alte Adresse soll zum passenden entsprechenden Inhalt führen.

  • URL, Sprache, eingehende Links
  • Erhalten, zusammenführen oder entfernen; Grund
  • Endziel, Status, Canonical und Alternativen
  • Zuständigkeit, Datum, Fehler und Behebung

Primärquelle: Google Search Central — Site moves with URL changes. Verwandte Methode: den praktischen Leitfaden lesen.

Robots.txt: Crawling, Indexierung und Nachweise

Ausführliche Hinweise stehen in dieser Ausgabe auf Englisch zur Verfügung.

Read groups before selecting the longest rule

Groups for the same token combine; * is a fallback and is not added to a specific group. Line order is not a general priority rule.

  • Identify applicable groups before matching rules against the path.
  • Use the most specific match; for equivalent rules the RFC recommends Allow.
  • Do not infer deindexing or access protection from Disallow alone.

Review the twelve robots.txt cases →

References reviewed