区分声明与选定URL
Google结合重定向、注释和站点地图。声明URL可能不同于实际选择。选择可访问、具有代表性且匹配内容的目标,不使用URL片段。
| 信号 | 作用 | 限制 |
|---|---|---|
| 永久重定向 | 指定目标并将访问带过去。 | 用于适当迁移或停用。 |
| rel="canonical" | 声明首选版本。 | 不强制选择,也不转移访问。 |
| 站点地图 | 列出首选URL。 | 弱于重定向或注释。 |
| URL检查 | 比较声明与观察到的选择。 | 观察状态可能变化。 |
消除矛盾信号
- 检查渲染HTML及HTTP头。避免多个冲突目标,使用绝对URL并让首选页面自引用。
- 将内链和站点地图指向同一版本。不要把robots.txt或noindex当成规范选择机制。
- 译文存在同语言版本时保留同语言规范页。检查hreflang和重定向路径。
变更后观察
重新抓取后,在URL检查和索引报告查看代表样本。链式跳转、已删除目标或不同内容可能与意图冲突。规范化不能替代访问控制或删除决策。
一手资料
围绕首选 URL 对齐信号
规范链接表示整合偏好,而非访问控制。检查目标链接、站点地图和内部链接是否一致,以及版本是否足够等效。生成不同内容的过滤器不一定是简单的重复内容。
- 检查目标链接是否可访问且相关。
- 避免模板间出现冲突的规范链接。
- 检查参数变体和语言版本。
规范标记是否强制显示特定版本?
规范链接只是一个信号,并非保证。引擎可能会选择其他版本;在再次更改标记之前,请检查引擎的选择以及与之矛盾的信号。
一手资料:Google Search Central — Canonical URLs. 相关方法:阅读实用指南.
可抓取网页分页
列表页面需要固定地址和可发现链接。
- 第二页应有独立URL和自己的canonical。片段标识或把所有页都指向第一页的canonical,不能表达各页的不同内容。
- 即使使用无限滚动,也提供普通href链接进入下一页。检查不执行JavaScript的服务器HTML;仅有事件处理不能提供同等链接目标。
- 定义稳定顺序和允许的筛选项。测试末页、超出范围的页码及重复请求,确保结果可解释,不形成无限空页链。
可复现的验收案例
虚构示例:数据不代表客户或实际观察结果。
查看案例输入
{
"page_2": "/catalog?page=2",
"canonical": "/catalog",
"next_link": "<button>More</button>"
}预期判断
第2页需要独立canonical和通往后续页的可抓取href链接。
验证步骤
- 记录每页URL、canonical及链接。
- 不用JavaScript按钮访问后续内容。
- 保留可抓取href及自身canonical。 直接打开每个 URL 并比较显示项目;不同地址若重复第一页,并不能验证后续分页正确。
Google Search Central — Pagination and incremental page loading
无限滚动能代替分页URL吗?
不会自动替代。应提供可读取的页面URL和链接,并验证用户能返回相同内容。
一手资料:Google Search Central — Pagination and incremental page loading. 相关方法:阅读实用指南.
