Соблюдать ограничения файла
Для sitemap действуют оба предела: 50000 URL и 50 MB без сжатия. Делите большие наборы на файлы, при необходимости с индексом. Используйте UTF-8 и полные адреса.
| Проверка | Ориентир | Уточнение |
|---|---|---|
| URL в sitemap | 50000 | Предел одного файла. |
| Размер без сжатия | 50 MB | Этот предел также действует. |
| Кодировка | UTF-8 | С корректно экранированными XML-значениями. |
| priority и changefreq | Игнорируются Google | Не управляют его обходом. |
Описывать нужные страницы
- Перечисляйте доступные предпочтительные URL, согласованные с каноническими и предназначенные для индексации. Найдите редиректы, ошибки и исключения до отправки.
- Корректно экранируйте XML и проверяйте выдаваемый файл, статус и дочерние карты. Сжатие не отменяет предел распакованного размера.
- Используйте lastmod для значимых проверяемых изменений. Не обновляйте ежедневно все даты ради видимости обновления.
Разделить принятый файл и индексированные страницы
Следите отдельно за чтением файла и состояниями URL. Валидная карта может включать не выбранную по другим причинам страницу. Google игнорирует priority и changefreq; они не покупают приоритет и не задают частоту обхода.
Первоисточники
Добавьте намеренные URL-адреса в карту сайта.
Карта сайта — это каталог URL-адресов, которые сайт предназначен для посещения поисковыми роботами. Перенаправления, дубликаты и страницы, не индексируемые, ослабляют согласованность, однако даже действительная запись не гарантирует индексацию.
- Сравните каждую запись с ее окончательным ответом и канонической ссылкой.
- Обновляйте lastmod только после реального изменения.
- Проверьте языковые альтернативы и внутренние ссылки для ключевых страниц.
Первичный источник: Google Search Central — Crawling and indexing. Связанный метод: прочитать практическое руководство.
Доступная роботу пагинация
Страницам списка нужны постоянные адреса и обнаруживаемые ссылки.
- Сохраняйте страницу 2 как отдельный URL с собственным canonical. Фрагмент или canonical всех страниц на первую не описывает их различающееся содержимое.
- Дайте следующую страницу обычной ссылкой href, в том числе рядом с бесконечной прокруткой. Проверьте серверный HTML без JavaScript: один обработчик события не даёт аналогичного адресата ссылки.
- Задайте стабильный порядок и допустимые фильтры. Проверьте последнюю страницу, номер за пределами списка и повторный запрос; результаты должны объясняться без бесконечной цепочки пустых страниц.
Воспроизводимый приёмочный случай
Вымышленный пример: данные не описывают клиента или наблюдаемый результат.
Посмотреть данные случая
{
"page_2": "/catalog?page=2",
"canonical": "/catalog",
"next_link": "<button>More</button>"
}Ожидаемое решение
Странице 2 нужны собственная canonical и доступные для обхода ссылки href дальше.
Процедура проверки
- Запишите URL, canonical и ссылки страниц.
- Перейдите дальше без JavaScript-кнопки.
- Сохраните href-ссылки и собственную canonical. Откройте каждый URL напрямую и сравните элементы: другой адрес с повтором первой страницы не подтверждает продолжение.
Google Search Central — Pagination and incremental page loading
Заменяет ли бесконечная прокрутка URL страниц?
Не сама по себе. Дайте читаемые адреса и ссылки и проверьте возможность вернуться к тому же содержимому.
Первичный источник: Google Search Central — Pagination and incremental page loading. Связанный метод: прочитать практическое руководство.
Качество sitemap
Корректный XML может пропускать страницы или содержать неподходящие цели.
- Сравните опубликованные маршруты с картой сайта. Включайте абсолютные канонические адреса, предназначенные для индексации; исключайте ошибки, перенаправления и страницы noindex.
- Один файл допускает не более 50 000 URL и 50 МБ без сжатия. Измеряйте байты UTF-8, а не gzip-файл. Используйте стабильные группы и индекс карт сайта.
- lastmod отражает известное существенное изменение. Не ставьте дату запуска всем страницам. После генерации проверьте XML, доступность и ссылку в robots.txt.
Воспроизводимый приёмочный случай
Вымышленный пример: данные не описывают клиента или наблюдаемый результат.
Посмотреть данные случая
{
"shard_urls": 50001,
"uncompressed_bytes": 20000000,
"lastmod_source": "generation_time"
}Ожидаемое решение
50 001 URL превышает лимит файла. Разделите и определяйте lastmod по существенным изменениям. В этом примере файлы на 50 000 и 1 URL укладываются в лимит количества; проверить также 50 МБ для каждого несжатого файла. Gzip не повышает лимиты. Дата генерации не заменяет дату изменения каждой страницы.
Процедура проверки
- Запишите количество URL и несжатый размер.
- Проверьте части, canonical и значимые lastmod.
- Сохраните исключения и связи с индексом.
Первичный источник: Sitemaps.org — Protocol. Связанный метод: прочитать практическое руководство.
Robots.txt: обход, индексация и доказательства
Подробные справочные заметки в этой версии доступны на английском.
A sitemap proposes URLs; it does not decide the index
For Google, sitemap inclusion is a weak canonical signal. A proposed URL still needs to be crawled, processed and potentially selected.
- Publish useful URLs consistent with canonical signals and internal links.
- Check robots.txt and each page’s directives separately.
- Retain evidence of actual indexing; submitting a sitemap is not proof of an outcome.
Review the twelve robots.txt cases →
References reviewed