跳到正文

Mika Research Note · 技术

技术 SEO/GEO 爬虫会检查什么

组合型爬虫如何分开报告 Health、GEO 与无障碍分数,以及可解释发现为何比单一混分更利于人工审计。

研究 查看日期 2026-09-22 来源:crawlie(MIT)

传统 SEO 蜘蛛列坏链与缺标题;较新的开源工具还会问:页面对生成式系统是否「看起来可答」。本文记录公开项目 spronta/crawlie(技术 SEO + GEO 爬虫)的设计事实。仓库源码按 LICENSE 为 MIT(GitHub SPDX 因自定义前言显示 NOASSERTION)。Mika 只做事实归因,不转载其文档。

三种分数镜头,而不是一团模糊

公开材料写明每次抓取分别返回三个分数:Health(技术 SEO)、GEO(面向 AI 搜索的就绪度)、Accessibility(偏 WCAG 的检查)。把镜头分开本身就是设计课。漂亮的 FAQ 块遮不住 404 模板;完美的状态码画像也遮不住无标签表单或空心可答内容。

对 Mika 审计,这正好对应「SEO 健康 vs 增长」「GEO 健康 vs 增长」:先修发现与完整性,再提升清晰与证据,同时无障碍缺陷保持可见,而不是被平均掉。

观察到的技术 SEO 检查

描述中的技术规则覆盖常见抓取卫生:坏链、4xx/5xx、重定向与链路、标题与 meta(缺失/重复/长度)、H1、canonical、noindex/nofollow/X-Robots-Tag、robots.txt 拦截、图片缺 alt、薄弱与重复内容、孤立页与深页。也有性能与安全主题——慢响应、过大页面、缺压缩、HTTPS、混合内容、HSTS。

国际化与社交表面同样在清单里:viewport、lang、hreflang、Open Graph、Twitter cards,以及对常见类型的结构化数据解析与富结果字段期望检查。可选无头渲染会审计 JS 之后的 DOM,便于对比客户端渲染应用与无 JS 抓取所见。

观察到的 GEO / 可答性检查

公开点名的 GEO 向信号包括结构化数据、语义 HTML、答案就绪度、作者/E-E-A-T 线索、注明日期的内容、问题式标题、可抽取块——汇总为每页 GEO 分。对审计者,重点不是追分,而是问:优先 URL 是否给出清楚答案、谁背书、何时更新、机器能否在不臆造上下文的情况下抽出紧凑块。

这与 Mika 拒绝承诺引用一致:就绪度关乎可读性与证据姿态,不是 ChatGPT、Perplexity 或 AI Overviews 会引用你的保单。

无障碍与代理表面

描述中的无障碍检查包括:链接/按钮无可访问名称、表单控件无标签、iframe 缺标题、禁止缩放的 viewport、正 tabindex、跳级标题等。把它们与 SEO/GEO 并列,避免「对搜索已就绪」变成「对人不可用」。

同一项目还暴露 CLI 与 MCP,便于代理跑抓取并请求解释。架构上,共享核心喂给 CLI、桌面与协议表面,提示一条有用规则:一个受审计引擎、多种交付通道——结果一致,少争论谁的导出才「真」。

可解释发现胜过不透明分数

公开材料反复强调:每条发现链到白话指引——为何重要、如何修、忽视会怎样。审计应对任何内部记分卡提出同样要求。仪表盘若解释不了规则,就不配当 sprint 优先级驱动器。

对网站审计的含义

  1. 在同一 URL 列表上分列 Health、可答性、无障碍。
  2. 先修模板级缺陷(共享页眉页脚、robots、软失败),再逐页改文案。
  3. 若有 JS 渲染,对关键商业 URL 做两种模式抽样。
  4. 升级给干系人的每条严重度,附上「为什么 / 怎么修 / 忽视会怎样」。

这些习惯借用爬虫的结构,却不依赖任一厂商二进制。解释、业务优先级与审计能声称什么的诚实边界,仍由 Mika 负责。

来源

  1. 仓库: crawlie
    所有者: spronta(Spronta Ltd)
    许可证: MIT(以 LICENSE 文件为准;GitHub SPDX 可能因自定义前言显示 NOASSERTION,并排除 Crawlie Cloud、注明第三方组件)
    源链接: https://github.com/spronta/crawlie
    查看日期: 2026-09-22
    仅事实归因。Mika 未复制该项目文档。Crawlie Cloud 不在本开源 LICENSE 范围内。

常见问题

crawlie 的 GEO 分能预测引用吗?

不能。这里讨论的分数描述结构、可抽取性、作者线索等就绪信号,不预测引用。

为什么要提 GitHub SPDX 差异?

准确归因需要同时记录 LICENSE 文件内容与 GitHub 元数据在不一致时各自写了什么。

希望 Health 与 GEO 分开检查?

Mika 做结构化审计,把技术卫生与可答性放在不同车道——让一类问题藏不住另一类。

联系 Mika