区分处理阶段
发现是识别地址;抓取是获取资源;渲染可能执行JavaScript;索引会分析内容并选择规范版本。HTTP 200或出现在站点地图中,并不能证明该版本已经被索引。
修复可观察的问题
- 检查内部HTML链接、HTTP响应、爬虫访问权限、noindex及渲染资源。
- 比较声明与实际选择的规范网址、可见内容以及页面的独特价值。
- 修复后检查重要网址,并在工具允许时申请抓取。多个相关网址可通过站点地图告知。
理解提交的限制
反复提交不能加快抓取,也不保证时间。Indexing API仅用于受支持的内容类型,例如JobPosting及嵌入VideoObject的BroadcastEvent,并非普通文章的通用加速器。应区分观察到的状态、抓取日期和排名。
一手资料
- Google Search Central — How Search works [EN]
- Google Search Central — Request recrawling [EN]
- Google Search Central — Indexing API usage [EN]
分阶段诊断索引问题。
一个URL可能已被发现、抓取、渲染并与其他版本归为一组,但最终却显示为搜索结果中的版本。“未被索引”并非单一原因,也没有通用的解决方案。
- 记录状态、指令、已声明的规范链接和独立内容。
- 使用URL检查来检查所选版本和可用的观察结果。
- 重新测试已纠正的原因并进行监控,不设定截止日期。
一手资料:Google Search Central — Crawling and indexing. 相关方法:阅读实用指南.
可抓取网页分页
列表页面需要固定地址和可发现链接。
- 第二页应有独立URL和自己的canonical。片段标识或把所有页都指向第一页的canonical,不能表达各页的不同内容。
- 即使使用无限滚动,也提供普通href链接进入下一页。检查不执行JavaScript的服务器HTML;仅有事件处理不能提供同等链接目标。
- 定义稳定顺序和允许的筛选项。测试末页、超出范围的页码及重复请求,确保结果可解释,不形成无限空页链。
可复现的验收案例
虚构示例:数据不代表客户或实际观察结果。
查看案例输入
{
"page_2": "/catalog?page=2",
"canonical": "/catalog",
"next_link": "<button>More</button>"
}预期判断
第2页需要独立canonical和通往后续页的可抓取href链接。
验证步骤
- 记录每页URL、canonical及链接。
- 不用JavaScript按钮访问后续内容。
- 保留可抓取href及自身canonical。 直接打开每个 URL 并比较显示项目;不同地址若重复第一页,并不能验证后续分页正确。
Google Search Central — Pagination and incremental page loading
无限滚动能代替分页URL吗?
不会自动替代。应提供可读取的页面URL和链接,并验证用户能返回相同内容。
一手资料:Google Search Central — Pagination and incremental page loading. 相关方法:阅读实用指南.
