做行业门户的老站,日更文章当天或隔天就能在站内搜到,site查总收录却几个月不动,甚至偶尔掉几百条,这并不矛盾。每日更新文章都有收录,说明抓取、解析、索引这条链路基本正常;site总收录量不涨,说明的是另一个问题:当前有效索引的总量没有增加,不等于新文章没被收录。
先弄清楚site是什么。site查询给的是搜索引擎对站点收录量的估算值,不是后台精确索引库。百度site结果和搜索资源平台里的索引量不是一回事,Google的site:也是估算。site数字会受查询词、地域、时间、分目录、移动端和PC端影响,同一天不同人查、加不加栏目路径,结果都可能差一截。老站做site:域名和site:域名/栏目,经常能看到总站不涨、某个栏目反而涨了几百条,这就是分目录索引在变化。
行业门户老站的特点是历史页面多,几十万到几百万很常见。假设站点有100万条有效页面,每天更新30篇,一个月新增900篇,只占总量0.09%。新文章收录率就算到九成,对site总量的拉动也很小,site结果波动几百上千条属于正常范围。更关键的是,老站每天都有旧页面在掉:过期专题、活动页、旧栏目、翻页、标签聚合、附件页、打印页、重复转载页。搜索引擎会定期清理低质、重复、无搜索需求的页面,新增索引和旧页面掉索引同时发生,总量就卡在原地。每日更新文章都有收录,但site总收录量不涨,本质上是“进多少、出多少”的动态平衡。
老站还要看抓取预算。行业门户栏目多、历史URL杂,蜘蛛每天能抓的页面有限。日更文章能收录,说明新内容有内链、有sitemap推送、栏目页可抓取;但大量聚合页、筛选页、翻页会分走抓取资源,导致一些老文章长期停在“已发现未收录”。site不涨时,先查搜索资源平台的索引量趋势,比盯site数字靠谱。索引量平稳、新文章收录正常、搜索流量没掉,就不用因为site数字焦虑。
真正要排查的是有效索引有没有变差。看新文章有没有进sitemap,栏目页有没有给新文章足够内链,canonical有没有指错,旧URL改版有没有做301,robots和noindex有没有误伤栏目,标题摘要是不是大量重复,聚合页是不是把正文页稀释了。行业门户老站常见的问题是历史页面重复度高,同一篇文章挂在多个栏目、标签、专题下,搜索引擎只留一个主页面,其余被合并,site自然不涨。还有老站改版后大量旧链接404,索引被批量清掉,新文章收录再多也补不上缺口。

site总收录量不涨,不代表站点出问题。每日更新文章都有收录,说明内容生产端和抓取端是通的。更值得关注的是有效索引对应的搜索流量、栏目页排名和新文章的长尾词表现。如果索引量在涨、流量在涨,site数字不动可以放一边;如果索引量也连续下降,就要查服务器稳定性、robots、模板误伤和大面积死链。老站运营别把site当KPI,把它当参考值,盯有效收录和有效流量更实际。