如何检测重复内容

直接答案

检测重复内容，就是定位不同 URL 上的完全相同或近乎相同的页面实质，并检查canonical、重定向与内链是否指向同一个意图版本。常见来源包括协议 / 主机 / 斜杠变体、UTM 副本、分面筛选、打印视图，以及只替换城市名或 SKU 名的 CMS 模板。

产出应是带样例 URL 的簇，并对每簇决策：保留一个规范页、差异化服务不同意图的页面，或清理薄弱残留。检测是取证工作，本身不会改变排名，也不会凭空制造独特性。

为何重要

以人为本的站点应让人一眼看清哪个页面拥有某个主题。当多个 URL 用相近标题与样板正文互相竞争，用户会落到不一致版本，爬虫也必须猜测。Google Search Central 的公开材料强调有用、独特的内容与清晰的规范信号——而不是在克隆页间重复关键词。

目录站与多语言 B2B 站点上，机械翻译的市场页、可索引的筛选壳很容易形成近重复。尽早抓住模式，能保护抓取清晰度，并把编辑精力留给真正回答不同问题的页面。

怎么检查

1. 规范化候选 URL — 带参与不带参一并抓取，记录主机、协议与斜杠变体。
2. 按信号聚类 — 把标题、H1、描述与正文主体相近的页面分组；标记只改一个词的模板壳。
3. 检查 canonical 与 robots — 确认每簇有一个首选 URL；留意链式、冲突，或指向 noindex 的规范。
4. 区分意图碰撞 — 两页可共用样板却服务不同职责（规格 vs 安装），需要差异化而非盲目合并。
5. 核对内链目标 — 枢纽与 sitemap 应偏好规范 URL，而不是参数双胞胎。
6. 蓝图动作 — 真重复做重定向或规范；意图不同则加深独特区块；薄弱筛选索引移出 sitemap。发布后复审簇成员。

具体例子

一家工业站点生成「产品 + 城市」落地页：同一段文字只替换城市名，标题模式相同，规格表一致，仅地图组件不同。同时，打印友好 URL 重复产品正文且去掉导航。

检测把城市页归为产品主 URL 的近重复，把打印页归为技术重复。蓝图可保留产品页为规范，对无本地实质的城市壳做 noindex 或重定向，并为打印视图统一 robots / rel=canonical。若某地区确需合规说明，应写成独特、有用的区块——而不是更多克隆引言。

Mika：健康 vs 增长

重复与近重复冲突主要属于 SEO Health（首选 URL 与抓取信号清晰）。为未回答意图创建差异化页面属于 SEO Growth。Mika 把合并工作与覆盖工作分开，避免把「少克隆」误当成「需求已答完」。