遵守文件限制
单个站点地图最多50000个URL，解压后不超过50 MB，两项都必须满足。更大集合应拆分，可由索引文件引用。使用UTF-8和完整URL。
| 检查项 | 参考值 | 说明 |
|---|---|---|
| 每个地图的URL | 50000 | 单文件上限。 |
| 解压大小 | 50 MB | 该上限同样适用。 |
| 编码 | UTF-8 | XML值需正确转义。 |
| priority与changefreq | Google忽略 | 不控制其抓取。 |
描述真正希望索引的页面
- 列出可访问、拟索引且与规范URL一致的首选地址。提交前发现重定向、错误和排除页。
- 正确转义XML值，检查实际文件、状态和子地图。压缩不能取消解压后大小上限。
- lastmod用于重大且可核实的更新。不要每天刷新全部日期来假装更新。
区分接受文件与索引页面
分别监测读取诊断和URL状态。有效地图也可能包含因其他原因未被选中的页面。Google忽略priority和changefreq，它们不能购买优先权或设定抓取频率。
一手资料
将预期 URL 添加到站点地图中。
站点地图是网站希望爬虫访问的 URL 的发现清单。重定向、重复项和 noindex 页面会削弱一致性，但即使是有效的条目也不能保证会被索引。
- 将每个条目与其最终回复和规范条目进行比较。
- 仅在发生实际更改后更新 lastmod。
- 检查关键页面的语言备选版本和内部链接。
一手资料：Google Search Central — Crawling and indexing. 相关方法：阅读实用指南.
可抓取网页分页
列表页面需要固定地址和可发现链接。
- 第二页应有独立URL和自己的canonical。片段标识或把所有页都指向第一页的canonical，不能表达各页的不同内容。
- 即使使用无限滚动，也提供普通href链接进入下一页。检查不执行JavaScript的服务器HTML；仅有事件处理不能提供同等链接目标。
- 定义稳定顺序和允许的筛选项。测试末页、超出范围的页码及重复请求，确保结果可解释，不形成无限空页链。
可复现的验收案例
虚构示例：数据不代表客户或实际观察结果。
查看案例输入
{
"page_2": "/catalog?page=2",
"canonical": "/catalog",
"next_link": "<button>More</button>"
}预期判断
第2页需要独立canonical和通往后续页的可抓取href链接。
验证步骤
- 记录每页URL、canonical及链接。
- 不用JavaScript按钮访问后续内容。
- 保留可抓取href及自身canonical。 直接打开每个 URL 并比较显示项目；不同地址若重复第一页，并不能验证后续分页正确。
Google Search Central — Pagination and incremental page loading
无限滚动能代替分页URL吗？
不会自动替代。应提供可读取的页面URL和链接，并验证用户能返回相同内容。
一手资料：Google Search Central — Pagination and incremental page loading. 相关方法：阅读实用指南.
站点地图质量
有效XML仍可能遗漏页面或包含不当目标。
- 将公开路由与网站地图核对。纳入希望索引的绝对规范URL，排除错误、重定向和noindex页面。
- 每个文件最多50,000个URL，未压缩大小不超过50 MB。测量UTF-8字节，而非gzip文件。按稳定分组拆分，并用地图索引列出文件。
- lastmod表示已知的重要修改。不要将所有页面改为生成当天的日期。重新生成后检查XML、可访问性及robots.txt引用。
可复现的验收案例
虚构示例：数据不代表客户或实际观察结果。
查看案例输入
{
"shard_urls": 50001,
"uncompressed_bytes": 20000000,
"lastmod_source": "generation_time"
}预期判断
50001个URL超过单文件限制。拆分文件，用重要修改计算lastmod。 此练习分为50,000个和1个URL的两个文件可满足数量限制，还须检查每个未压缩文件不超过50 MB。gzip不会提高这些上限。生成日期不能代替各页面的修改日期。
验证步骤
- 记录URL数量及未压缩大小。
- 验证分片、canonical及有意义lastmod。
- 保留排除项及索引对应关系。
一手资料：Sitemaps.org — Protocol. 相关方法：阅读实用指南.
Robots.txt：抓取、索引与证据
此语言版本的详细参考说明以英语提供。
A sitemap proposes URLs; it does not decide the index
For Google, sitemap inclusion is a weak canonical signal. A proposed URL still needs to be crawled, processed and potentially selected.
- Publish useful URLs consistent with canonical signals and internal links.
- Check robots.txt and each page’s directives separately.
- Retain evidence of actual indexing; submitting a sitemap is not proof of an outcome.
Review the twelve robots.txt cases →
References reviewed