Lue sääntö oikeaa osoitetta vasten
Esimerkin yleinen ryhmä estää polun /internal-search/ mutta sallii polun /internal-search/help/. Polut ovat havainnollistavia. Sitemap kertoo löydettävän osoitteen, ei käske indeksoimaan. Selvitä, soveltuuko robottiin tarkempi ryhmä.
User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xmlValitse tavoitteen mukainen keino
- Yksityiset resurssit tarvitsevat palvelinpuolen tunnistautumisen ja käyttöoikeuksien valvonnan. Robots.txt-merkintä ei suojaa niitä.
- Julkisen sivun sulkeminen hakemistosta edellyttää luettavaa noindex-ohjetta. Latauksen estäminen voi estää sen lukemisen.
- Rajaa turhia julkisten sivujen käyntejä kohdennetusti ja pidä esittämiseen tarvittavat resurssit saatavilla.
Tarkista todellinen vastaus
Tarkista tiedosto oikean protokollan, palvelinnimen ja portin juuresta sekä tarkat URL-osoitteet, kirjainkoko ja ryhmät. Käytä Search Consolen robots.txt-raporttia ja URL-tarkastusta. Näkyvä vaikutus voi edellyttää uutta robotin käyntiä.
Alkuperäiset lähteet
- Google Search Central — Introduction to robots.txt [EN]
- Google — Robots.txt specification [EN]
- Google Search Central — noindex [EN]
Testaa käyttöpolku ennen robots.txt-tiedoston muuttamista.
Robots.txt-sääntö ohjaa indeksointia, ei taattua poistamista hakemistosta. Sivun estäminen, joka on haettava, jotta noindex-direktiivi voidaan lukea, voi luoda ristiriitaisen signaalin.
- Testaa tarkka URL-osoite ja soveltuva hakurobottiryhmä.
- Vertaile robottien sääntöjä, HTTP-vastauksia ja sivudirektiivejä.
- Toista haku HTML-linkkien kautta jokaisen muutoksen jälkeen.
Ensisijainen lähde: Google Search Central — Crawling and indexing. Aiheeseen liittyvä menetelmä: lue käytännön opas.
JavaScriptillä renderöity sisältö
Vastaanotettu HTML voi erota selaimessa näkyvästä sisällöstä.
- Tallenna saman URL:n vastaanotettu HTML ja DOM JavaScriptin jälkeen. Vertaa otsikkoa, päävastausta, href-linkkejä ja canonicalia.
- Simuloi hidasta tai epäonnistuvaa API:a ilman kirjautumista. Loputon lataus tai tyhjä 200-sivu tarvitsee määritellyn käsittelyn.
- Tarkista tarvittavien resurssien robots-estot ja syvän URL:n suora avaaminen. Tutki renderöityä HTML:ää saatavilla olevilla tarkastustyökaluilla.
Toistettava hyväksyntätapaus
Kuvitteellinen esimerkki: tiedot eivät kuvaa asiakasta tai havaittua tulosta.
Näytä tapauksen tiedot
{
"response_status": 200,
"html_link": "<span onclick=\"navigate()\">Item</span>",
"rendered_text": true,
"script_failure_test": true
}Odotettu päätös
Napsautettava span ei korvaa href-linkkiä. Testaa myös ilman skriptejä.
Tarkistusmenettely
- Tallenna HTML, esitetty sisältö ja href-linkit.
- Poista skriptit; testaa olennainen navigointi.
- Säilytä molempien tilojen canonical ja robots.
Todistaako 200 sisällön indeksoitavuuden?
Ei. Tarkista sisältö, indeksointiohjeet ja resurssit; tila ei takaa indeksointia.
Ensisijainen lähde: Google Search Central — JavaScript SEO basics. Aiheeseen liittyvä menetelmä: lue käytännön opas.
URL-siirto
Vanhan osoitteen pitää johtaa vastaavaan olennaiseen sisältöön.
- URL, kieli, saapuvat linkit
- Säilytä, yhdistä tai poista; perustelu
- Lopullinen kohde, tilat, canonical ja vaihtoehdot
- Vastuuhenkilö, päiväys, virhe ja korjaus
Ensisijainen lähde: Google Search Central — Site moves with URL changes. Aiheeseen liittyvä menetelmä: lue käytännön opas.
Robots.txt: indeksointi ja tarkistusaineisto
Tämän kieliversion tarkemmat lähdekuvaukset ovat englanniksi.
Read groups before selecting the longest rule
Groups for the same token combine; * is a fallback and is not added to a specific group. Line order is not a general priority rule.
- Identify applicable groups before matching rules against the path.
- Use the most specific match; for equivalent rules the RFC recommends Allow.
- Do not infer deindexing or access protection from Disallow alone.
Review the twelve robots.txt cases →
References reviewed