Regels voor de juiste URL lezen
De algemene groep blokkeert in dit voorbeeld /internal-search/ en staat /internal-search/help/ toe. De paden zijn illustratief. Sitemap noemt een adres voor ontdekking, geen opdracht tot indexering. Controleer of een specifiekere crawlergroep van toepassing is.
User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xmlDe juiste maatregel kiezen
- Privébronnen vereisen authenticatie en autorisatie op de server. Een vermelding in robots.txt biedt geen bescherming.
- Een openbare pagina uitsluiten van indexering vereist een leesbare noindex-instructie. Een crawlblokkade kan die lezing verhinderen.
- Beperk onnodige crawling gericht zonder bronnen voor de weergave onbereikbaar te maken.
De werkelijke reactie controleren
Controleer het bestand op de hoofdlocatie van het juiste protocol, de juiste host en poort, plus exacte URL’s, hoofdletters en groepen. Gebruik het robots.txt-rapport en URL-inspectie in Search Console. Een zichtbaar effect kan een nieuwe crawl vereisen.
Primaire bronnen
- Google Search Central — Introduction to robots.txt [EN]
- Google — Robots.txt specification [EN]
- Google Search Central — noindex [EN]
Test het toegangspad voordat robots.txt wordt gewijzigd.
Een robots.txt-regel regelt het crawlen, niet een gegarandeerde verwijdering uit de index. Het blokkeren van een pagina die moet worden opgehaald zodat een noindex-richtlijn kan worden gelezen, kan een tegenstrijdig signaal creëren.
- Test de exacte URL en de toepasselijke crawlergroep.
- Vergelijk robots.txt-regels, HTTP-respons en paginarichtlijnen.
- Herhaal de ontdekking via HTML-links na elke wijziging.
Primaire bron: Google Search Central — Crawling and indexing. Verwante methode: lees de praktische gids.
Met JavaScript gerenderde inhoud
Ontvangen HTML kan verschillen van de browserweergave.
- Bewaar ontvangen HTML en DOM na JavaScript voor dezelfde URL. Vergelijk titel, hoofdantwoord, href-links en canonical.
- Simuleer een trage of falende API zonder ingelogde sessie. Eindeloos laden of een lege pagina met 200 vraagt expliciete afhandeling.
- Controleer robots-blokkades van nodige bronnen en rechtstreeks openen van een diepe URL. Bekijk gerenderde HTML met beschikbare inspectietools.
Herhaalbare acceptatiecasus
Fictief voorbeeld: deze gegevens beschrijven geen klant of waargenomen resultaat.
Casusgegevens bekijken
{
"response_status": 200,
"html_link": "<span onclick=\"navigate()\">Item</span>",
"rendered_text": true,
"script_failure_test": true
}Verwachte beslissing
Een klikbare span vervangt geen href-link. Test ook bij uitgevallen scripts.
Verificatieprocedure
- Bewaar HTML, weergegeven inhoud en href-links.
- Schakel scripts uit; test essentiële navigatie.
- Bewaar canonical en robots van beide toestanden.
Bewijst 200 dat inhoud indexeerbaar is?
Nee. Controleer inhoud, indexeringsregels en bronnen; de status garandeert geen indexering.
Primaire bron: Google Search Central — JavaScript SEO basics. Verwante methode: lees de praktische gids.
URL-migratie
Ieder oud adres moet naar passende equivalente inhoud leiden.
- URL, taal en inkomende links
- Behouden, samenvoegen of verwijderen; reden
- Eindadres, statussen, canonical en alternatieven
- Verantwoordelijke, datum, probleem en oplossing
Primaire bron: Google Search Central — Site moves with URL changes. Verwante methode: lees de praktische gids.
Robots.txt: crawlen, indexeren en bewijs
De uitgebreide toelichtingen zijn in deze editie beschikbaar in het Engels.
Read groups before selecting the longest rule
Groups for the same token combine; * is a fallback and is not added to a specific group. Line order is not a general priority rule.
- Identify applicable groups before matching rules against the path.
- Use the most specific match; for equivalent rules the RFC recommends Allow.
- Do not infer deindexing or access protection from Disallow alone.
Review the twelve robots.txt cases →
References reviewed