Robots.txt：クロール、インデックス、アクセス制御を分ける

公開 06/05/2026 · 更新 22/10/2026 · SEOと検索での発見 · 5 分で読めます · 執筆 Cyber Intelligence Embassy

要点

Robots.txtは規則に従うクローラーに取得ルールを伝えます。人のアクセスを制限せず、GoogleからのURL削除も保証しません。

この記事の内容

対象URLに対して規則を読む

例の一般グループは/internal-search/を禁止し、/internal-search/help/を許可します。パスは説明用です。Sitemapは発見のためのアドレスを示し、登録を命令しません。対象クローラーに、より具体的なグループが適用されないか確認します。

User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xml

目的に合う制御を選ぶ

非公開リソースはサーバー側の認証と認可で保護します。robots.txtへの記載は保護になりません。
公開ページをインデックスから外すには、クローラーがnoindexを読める必要があります。クロール禁止は読み取りを妨げる場合があります。
不要なクロールは対象パスを絞って制限し、描画に必要なリソースへのアクセスは確保します。

実際の応答を確かめる

正しいプロトコル、ホスト、ポートのルートでファイルを確認し、正確なURL、大文字小文字、適用グループを調べます。Search Consoleのrobots.txtレポートとURL検査を活用します。検索上の変化には再クロールが必要な場合があります。

一次資料

robots.txtを変更する前にアクセスパスをテストする。

robots.txtルールはクロールを制御するものであり、インデックスからの削除を保証するものではない。noindexディレクティブを読み取るために取得する必要のあるページをブロックすると、矛盾したシグナルが発生する可能性がある。

正確なURLと適用可能なクローラーグループをテストする。
ロボットルール、HTTPレスポンス、ページディレクティブを比較する。
変更後、HTMLリンクを介して検出結果を再現する。

一次資料：Google Search Central — Crawling and indexing. 関連する方法：実践ガイドを読む.

JavaScriptで描画するコンテンツ

受信したHTMLとブラウザー表示が異なる場合があります。

同じURLの受信HTMLとJavaScript実行後のDOMを保存します。タイトル、主回答、hrefリンク、canonicalを照合します。
未ログインで遅いAPIや失敗を再現します。終わらない読み込みや200の空ページには明示的な処理が必要です。
必要なリソースのrobots制限と内部URLの直接表示を確認します。利用できる検査ツールでレンダリング後のHTMLを調べます。

再現できる受け入れ事例

架空の例です。顧客や実際の観測結果を示すデータではありません。

事例の入力を見る

{
    "response_status": 200,
    "html_link": "<span onclick=\"navigate()\">Item</span>",
    "rendered_text": true,
    "script_failure_test": true
}

期待される判断

クリック可能なspanはhrefリンクの代わりになりません。スクリプト失敗時も確認します。

検証手順

HTML、表示内容、hrefリンクを記録します。
スクリプトを無効化し主要な移動を試します。
両状態のcanonicalとrobotsを残します。

Google Search Central — JavaScript SEO basics

200なら内容がインデックス可能ですか？

それだけでは判断できません。内容、インデックス指示、リソースを確認します。

一次資料：Google Search Central — JavaScript SEO basics. 関連する方法：実践ガイドを読む.

URL移行

旧URLは対応する適切な内容へ導く必要があります。

URL、言語、流入リンク
維持、統合、削除と理由
最終URL、応答、canonical、言語版
担当者、日付、問題、解決

一次資料：Google Search Central — Site moves with URL changes. 関連する方法：実践ガイドを読む.

Robots.txt：クロール・登録・検証資料

この言語版の詳しい参照メモは英語で提供しています。

Read groups before selecting the longest rule

Groups for the same token combine; * is a fallback and is not added to a specific group. Line order is not a general priority rule.

Identify applicable groups before matching rules against the path.
Use the most specific match; for equivalent rules the RFC recommends Allow.
Do not infer deindexing or access protection from Disallow alone.

Review the twelve robots.txt cases →

References reviewed 2026-10-22