琢磨了一下,又查了些资料,渐渐明白了这事儿其实挺常见的,根本犯不上惊讶。
首先得说,百度那个收录数字,它是个动态滚动的概念,不是当天算当天的。搜索引擎的蜘蛛来抓你网页,跟它最终把你网页放进索引库,这中间是有时间差的。今天你发了一篇新文章,蜘蛛爬走了,可能一个礼拜之后,它才把这个链接正式放出来,成为“收录”状态。所以你现在看到的这“几百篇”,里面有很多是前些天积压下来,今天才被“放行”的旧文章。把时间线拉长看,你其实每天更新的那几十篇,都算在里面了,只是有延迟而已。
再一个,最容易让人疏忽的点,就是网站的URL重复问题。很多内容管理系统,尤其是那种带标签、带分类的,同一个内容它会生成好几个不同的链接地址。比如一篇文章可能在主页显示一次,在栏目页又有一个入口,点进详情页URL又变了一套。百度虽然在抓取上有自己的规则,但对于那些指向同一份内容的多个地址,它不是每一次都能聪明地归并成一个的。有时候它会把这个当成两篇不同的东西都收录了。这样的话,后台看到的收录数,肯定就比你实际的文章总数要虚高不少。
还有一种常见情况,就是老页面被重新抓取,算作新增了。我们网站以前可能有很多旧内容,时间长了没怎么维护,权重也低,百度就不太理睬它们。但最近可能因为改了版,或者某个专题忽然被外部网站引用了,蜘蛛重新跑过来,把这些尘封的页面又给“翻新”了一遍。翻新的页面在收录数据里是会被统计进去的,这跟“新发的文章”在数据报告里混在一起,数字自然就显得多了。
另外,也不能排除有一些低质量的内容页面被百度意外收录了。网站后台偶尔会因为程序漏洞或者变量调错,生成出一些没有实际内容的空白页、错误页。蜘蛛来逛一圈,判断这个页面可能有内容,但网站本身没在robots里把它们屏蔽掉,百度就给收集走了。这种页面数量少的时候不显眼,一旦累积到几十个,也会让收录总量明显超过每日正常生产量。

说实话,这种事也不能全看成是坏事。从数字上,你可能会觉得百度挺给面子,居然收了我这么多东西。但冷静下来想,收录多不代表排名好,也不代表流量高。有时候那些多出来的“收录”,反而是垃圾链接,这些链接在搜索用户面前并不产生价值,还占着网站的抓取配额。对做网站的来说,正确的态度是,先搞清楚这些“溢出来”的收录是正常滚动,还是URL或者技术上的问题。如果是正常延迟,那就踏踏实实接着更;如果发现是有的页面重复或乱码了,就得考虑用canonical标签把重复内容指向主URL,或者在robots里把那些参数动态链接封杀掉,免得让蜘蛛白费力气。
写到这里,回到一开始那个问题。每天发几十篇,百度显示收了几百篇,说到底,搜索引擎它是个机器,它的统计口径不是咱们内容后台那个“发布成功”的数量。它有自己的抓取节奏,有自己判断页面的算法,并且是带着历史数据一起算的。数字差个几倍,甚至差个十倍,都不算稀奇。关键不在于为什么数字多了,而是得知道这数字背后到底藏了些啥,别被表面的繁华给糊弄了。看长远一点,持续稳定地输出有价值的内容,同时把网站技术底层那些坑填平,比整天盯着收录数字患得患失有用得多。等过几周,那些积压的收录消化掉,数字自然就会回归到一个更实在的水平。