博客出现重复页面,通常是因为同一篇内容能通过多个网址打开,或者多个列表页、标签页展示相同摘要。排查时先确认重复范围,再判断哪类重复最可能被搜索引擎当成独立页面收录,优先处理“内容相同但网址不同”和“站内链接指向多个版本”这两类问题。
要查的是同一篇文章是否存在多个可访问地址。可以从博客后台文章列表复制标题,在搜索引擎中用site:你的域名 文章标题观察返回了哪些网址;也可以手动把文章固定链接分别加上?utm_source=test、/index.html、/amp等常见后缀访问,看是否都能打开同一内容。
如果多个网址返回相同正文,说明存在重复页面。若只有带参数的网址能打开,而规范网址没有参数,优先把带参数版本设为不被收录,并让站内链接统一指向规范网址。若两个网址内容完全一样且都能正常访问,需要选一个作为规范版本,另一个做跳转或加规范标签。
博客的分类页、标签页、作者页、日期归档页,经常因为每页只显示标题和摘要,被判断为重复或低价值页面。要查的是这些页面之间是否只有网址不同,内容高度相似。可以打开两个标签页,对比标题、摘要顺序和分页内容。
如果标签页只列出几篇文章,且与分类页大量重叠,建议先保留有独立描述和稳定流量的标签页,把空标签页、只有一篇文章的标签页设为不被收录或合并。分页页面不要全部禁止,至少保留第一页可访问,后续分页根据实际收录情况处理。
确认重复后,要查每个重复版本是否已设置规范标签。打开页面源代码,搜索rel="canonical",看它指向的网址是不是你希望被收录的版本。如果两个版本互相指向自己,或者都缺少规范标签,搜索引擎需要自行判断,容易分散权重。
处理时按以下顺序执行:
结果说明:如果规范标签指向正确,且重复版本逐渐从搜索结果中减少,说明处理方向有效。若规范标签已加但重复页面仍被收录,需要继续检查站内链接、站点地图和外部链接是否仍指向重复版本。
按影响面排序,优先处理以下三类:第一,正文完全相同但网址不同的文章页;第二,站内导航、站点地图、相关阅读同时指向多个版本的链接;第三,被外部链接指向的重复网址。这三类最容易让搜索引擎反复抓取和收录重复内容。
可以做一个简单检查表:
比较改动效果时,要考虑搜索需求变化、季节波动和数据采集差异,不能只看一天的数据就判断成功或失败。
完成一轮排查后,把仍被收录的重复网址列出来,逐条确认规范标签、跳转和站内链接是否一致。下一次发布博客文章时,先固定一个规范网址,再检查标签、分类和分享链接是否都指向它,避免新的重复页面继续产生。