Применять правило к нужному URL
Общая группа в примере запрещает /internal-search/ и разрешает /internal-search/help/. Пути условные. Sitemap указывает адрес для обнаружения, а не требует индексации. Проверьте наличие более конкретной группы для данного робота.
User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xmlВыбирать подходящий контроль
- Закрытые ресурсы требуют серверной аутентификации и авторизации. Упоминание в robots.txt не защищает их.
- Для исключения публичной страницы из индекса робот должен прочитать noindex. Запрет обхода может помешать этому.
- Ограничивайте ненужный обход адресно, сохраняя доступ к ресурсам для отображения страницы.
Проверять фактический ответ
Проверьте файл в корне нужного протокола, хоста и порта, точные URL, регистр и группы. Используйте отчёт robots.txt и проверку URL в Search Console. Видимые изменения могут потребовать нового обхода.
Первоисточники
- Google Search Central — Introduction to robots.txt [EN]
- Google — Robots.txt specification [EN]
- Google Search Central — noindex [EN]
Проверяйте путь доступа перед изменением robots.txt.
Правило robots.txt регулирует сканирование, а не гарантирует удаление из индекса. Блокировка страницы, которую необходимо загрузить, чтобы можно было прочитать директиву noindex, может создать противоречивый сигнал.
- Проверьте точный URL-адрес и соответствующую группу краулеров.
- Сравните правила robots, HTTP-ответ и директивы страниц.
- Воспроизведите обнаружение с помощью HTML-ссылок после каждого изменения.
Первичный источник: Google Search Central — Crawling and indexing. Связанный метод: прочитать практическое руководство.
Контент с рендерингом JavaScript
Полученный HTML может отличаться от страницы в браузере.
- Сохраните полученный HTML и DOM после JavaScript для одного URL. Сравните заголовок, основной ответ, ссылки href и canonical.
- Смоделируйте медленный или отказавший API без входа в аккаунт. Бесконечная загрузка или пустая страница с 200 требуют явной обработки.
- Проверьте блокировку нужных ресурсов в robots и прямое открытие глубокого URL. Изучите отрисованный HTML доступными средствами инспекции.
Воспроизводимый приёмочный случай
Вымышленный пример: данные не описывают клиента или наблюдаемый результат.
Посмотреть данные случая
{
"response_status": 200,
"html_link": "<span onclick=\"navigate()\">Item</span>",
"rendered_text": true,
"script_failure_test": true
}Ожидаемое решение
Кликабельный span не заменяет ссылку href. Проверьте также отказ скриптов.
Процедура проверки
- Сохраните HTML, отображённый текст и href-ссылки.
- Отключите скрипты; проверьте основную навигацию.
- Сохраните canonical и robots обоих состояний.
Доказывает ли 200 возможность индексации?
Нет. Проверьте содержание, правила индексации и ресурсы; статус не гарантирует индексацию.
Первичный источник: Google Search Central — JavaScript SEO basics. Связанный метод: прочитать практическое руководство.
Миграция URL
Каждый старый адрес должен вести к подходящему соответствующему контенту.
- URL, язык, входящие ссылки
- Сохранить, объединить или удалить; причина
- Конечный адрес, статусы, canonical и альтернативы
- Ответственный, дата, ошибка и исправление
Первичный источник: Google Search Central — Site moves with URL changes. Связанный метод: прочитать практическое руководство.
Robots.txt: обход, индексация и доказательства
Подробные справочные заметки в этой версии доступны на английском.
Read groups before selecting the longest rule
Groups for the same token combine; * is a fallback and is not added to a specific group. Line order is not a general priority rule.
- Identify applicable groups before matching rules against the path.
- Use the most specific match; for equivalent rules the RFC recommends Allow.
- Do not infer deindexing or access protection from Disallow alone.
Review the twelve robots.txt cases →
References reviewed