Google索引:诊断发现、抓取与规范版本选择

内容摘要

告知一个网址并不保证抓取、索引或排名。再次申请检查前,应确定问题发生在哪个阶段。

无人简报室中的全球网络地图
本文目录

区分处理阶段

发现是识别地址;抓取是获取资源;渲染可能执行JavaScript;索引会分析内容并选择规范版本。HTTP 200或出现在站点地图中,并不能证明该版本已经被索引。

修复可观察的问题

  • 检查内部HTML链接、HTTP响应、爬虫访问权限、noindex及渲染资源。
  • 比较声明与实际选择的规范网址、可见内容以及页面的独特价值。
  • 修复后检查重要网址,并在工具允许时申请抓取。多个相关网址可通过站点地图告知。

理解提交的限制

反复提交不能加快抓取,也不保证时间。Indexing API仅用于受支持的内容类型,例如JobPosting及嵌入VideoObject的BroadcastEvent,并非普通文章的通用加速器。应区分观察到的状态、抓取日期和排名。

一手资料

分阶段诊断索引问题。

一个URL可能已被发现、抓取、渲染并与其他版本归为一组,但最终却显示为搜索结果中的版本。“未被索引”并非单一原因,也没有通用的解决方案。

  • 记录状态、指令、已声明的规范链接和独立内容。
  • 使用URL检查来检查所选版本和可用的观察结果。
  • 重新测试已纠正的原因并进行监控,不设定截止日期。

一手资料:Google Search Central — Crawling and indexing. 相关方法:阅读实用指南.

可抓取网页分页

列表页面需要固定地址和可发现链接。

  • 第二页应有独立URL和自己的canonical。片段标识或把所有页都指向第一页的canonical,不能表达各页的不同内容。
  • 即使使用无限滚动,也提供普通href链接进入下一页。检查不执行JavaScript的服务器HTML;仅有事件处理不能提供同等链接目标。
  • 定义稳定顺序和允许的筛选项。测试末页、超出范围的页码及重复请求,确保结果可解释,不形成无限空页链。

可复现的验收案例

虚构示例:数据不代表客户或实际观察结果。

查看案例输入
{
    "page_2": "/catalog?page=2",
    "canonical": "/catalog",
    "next_link": "<button>More</button>"
}

预期判断

第2页需要独立canonical和通往后续页的可抓取href链接。

验证步骤

  1. 记录每页URL、canonical及链接。
  2. 不用JavaScript按钮访问后续内容。
  3. 保留可抓取href及自身canonical。 直接打开每个 URL 并比较显示项目;不同地址若重复第一页,并不能验证后续分页正确。

Google Search Central — Pagination and incremental page loading

无限滚动能代替分页URL吗?

不会自动替代。应提供可读取的页面URL和链接,并验证用户能返回相同内容。

一手资料:Google Search Central — Pagination and incremental page loading. 相关方法:阅读实用指南.