先说收录层面的连锁反应。搜索引擎对待内容的态度,像是一个记性很好但脾气古怪的账房先生。你辛辛苦苦把上千页采集内容删掉,他会第一时间重新抓取,然后把这些URL的状态从正常变成404或者410。表面上看起来,死链变多了,但真正难受的是那些曾经被收录、获得过权重的页面。一旦消逝,账房先生会重新评估整个站的信任度,原本靠这些页面撑起来的索引量,会像漏气的气球一样快速萎缩。有朋友做过测试,某站点删除两个月后,百度收录从原本的四万页掉到了不足三千页。
收录量下滑还不是最痛的,排在搜索结果里的资格才是。搜索引擎把那些采集页当成了解你网站的窗口,窗口突然全关上了,它会迟疑,会怀疑这个站是不是在调整策略,甚至是不是要关门。这种迟疑会直接体现在关键词排名上。观察过一个资讯站,删掉采集之后,原本还有排名的三百多个长尾词,一个星期里掉了六成以上,剩下那些苟延残喘的词,排名也是扶摇直下。头部流量词更惨,几乎全军覆没。
流量的断崖式下跌是随之而来的必然结果。有位做工具类网站的站长跟我聊过,他之前为了充门面,扒了同行的上千条问答内容。后来因为版权困扰,一夜之间全删了。结果呢,网站的日均自然访问量从差不多八千掉到了七百。问他有没有什么补救措施,他说本来以为清理垃圾内容会被搜索引擎奖励,没想到反而像是自断双臂。
更要留意的是抓取预算的浪费。搜索引擎每天派蜘蛛来你网站溜达的次数是有限的,原本这些采集内容会吸引大量蜘蛛频繁光顾。一旦内容消失,如果站内还有别的正常页面,蜘蛛要花不少时间重新确认这些旧链接的状态,反复去抓取那些404页面确认是不是真的没了。这一通操作下来,真正有价值的原创页面反而可能被冷落。就像你去一家常去的饭馆,突然发现菜单换了一大半,你肯定得花时间重新研究点什么菜,原来常点的那几道反而忽略了。
再说说权重分散和归零的问题。很多采集内容页面上会挂着一些内链,或是指向首页,或是指向某些栏目页。这些链接是传递权重的通道。删掉它们,相当于是把原本能流向重要页面的投票通道切断了。积少成多,几百上千条这样的内链断掉,对整站的权重分配带来明显波动。特别是一些刚起步的小站,本来权重就低,这么一折腾,可能连收录新页面都变得迟缓了起来。

但这并不是说留着那些采集内容就是对的。采集终究是走钢丝,一旦被搜索引擎判罚,损失往往更为惨重。真正理性的做法是分级处理,而不是一刀切。有料的、跟站点主题吻合的采集内容,可以改写成独一无二的文字;纯粹充数、毫无可读性、或者是从多个来源拼接的内容,才考虑删除。
删除的时候也有技巧,不要一下子全干掉。给搜索引擎一点适应的时间,一批批来。并且删除之前,务必把那些页面上有价值的外部链接给找出来,能转移的就转移到相关的新页面上,能合并的就合并,尽量让已经积累的权重沉淀下来,而不是直接清空。
还有人会想到用robots协议屏蔽这些页面,或者用noindex标注。这种做法的好处是,用户看不到垃圾信息了,但搜索引擎还是能发现这些URL。让蜘蛛知道这些页面还在,只是不允许展示,比起直接404,对现有排名的影响会更温和一点。但这种方式比较适合那些内容本身并不太糟、只是不想让它们参与索引的情况。
说到底,删除采集内容是伤筋动骨的事。它就像是给网站做一次大手术,切除病灶的同时难免会伤及到一些好的组织。术后的康复期是漫长的,需要不断用高质量的原创内容去填补空缺,去重新赢得搜索引擎的信任。这个恢复过程,用个比较夸张的说法就是,快则三个月,慢则半年甚至更久。如果没有足够的准备和耐心,只想着一删了之,最后很可能会发现自己把站给亲手做没了。做内容决策,还是一步一个脚印来得稳妥。