开源 SEO 爬虫的公开观察会检查哪些项目？

定义

站点上的开源 SEO 爬虫笔记基于对 puneetindersingh/open-seo-crawler（MIT）的公开观察，提到标题、站点地图、hreflang、重复内容、断链、通过 meta robots 或 X-Robots-Tag 的 noindex、状态码、canonical 以及软 404。这是一张覆盖图，不是记分牌，也不表示复制了该项目的文档。

短答

笔记提到标题、站点地图、hreflang、重复、断链、通过 meta robots 或 X-Robots-Tag 的 noindex、状态码、canonical 和软 404。它们来自对该 MIT 许可爬虫的公开观察，是覆盖图，不是记分牌，也不是其文档的副本。

要检查什么

• 会检查标题与站点地图
• hreflang 与 canonical
• 会检查断链与重复内容
• noindex 与软 404

它不声称什么

爬虫覆盖图并不保证搜索结果更健康，也不保证每个问题都会被发现。Mika 不保证搜索排名或 AI 答案引用，这些笔记也没有声称复制了开源文档。

一个结构示例

笔记可以记录一个 URL 有标题、出现在站点地图中并发送 hreflang，而另一个 URL 通过 meta robots 或 X-Robots-Tag 被标为 noindex。同一张覆盖图还可以包括重复、断链、状态码、canonical 和软 404，而不会把抓取变成记分牌。