网站的文章页面不被百度抓取是什么原因
很多站长都遇到过这种怪事：文章辛辛苦苦写出来，发布到网站上，结果过了一个星期去看，百度搜索site域名，那个页面连影子都找不到。有人第一时间怀疑是被百度惩罚了，其实大部分情况根本不是惩罚，而是百度蜘蛛压根就没来过，或者来了没带走任何东西。今天把几个最常见的原因掰开揉碎了讲清楚。
先说robots协议。这玩意儿是百度蜘蛛进你网站之前必看的第一道门。很多老网站改版的时候，robots文件被顺手改过，或者用网上抄来的模板，里面写了一句Disallow: /，这一下就把整站都屏蔽了。还有更隐蔽的，Disallow后面带了半角空格，或者路径大小写写错，蜘蛛一看直接掉头就走。你要是怀疑是robots的问题，直接浏览器访问你的域名后面加/robots.txt，看看里面写了啥，比什么都快。
再就是内链和外链的结构问题。百度蜘蛛不是神仙，它每天抓取的网站数量是有限的，优先抓什么？优先抓权重高、链接多的页面。你的文章页面如果孤零零一个，全站没有任何一个地方指向它，那蜘蛛根本没有路径发现这个页面。有些人把文章放栏目页下面，但栏目页本身又被首页藏得深，导航里面都不显示，产品列表又分了好几层，蜘蛛爬到第三层基本就没耐心了。反过来，有些文章明明没问题，但全站外链全是零，没有任何其他网站带它，蜘蛛估摸着这个页面没价值，也就懒得来了。说句实在话，很多新站两个月不收录文章，根子就在于一个外链都没有，连个引路的都没有。
还有一个特别容易被忽略的事实：你那个页面的代码结构，百度蜘蛛看不懂。现在很多网站用的是前后端分离架构，网页内容全靠JavaScript动态渲染，而百度蜘蛛对动态渲染的内容抓取能力比Google弱不少。你看着浏览器里文章清清楚楚，蜘蛛眼里就是一堆空白代码。怎么验证？用浏览器的开发者工具点“查看网页源代码”，把你文章标题放进去搜一下，如果源代码里搜不到，那蜘蛛百分之百也看不到。这种问题不解决，发一百篇文章也是白搭。
内容质量这块也得说实话。很多人嘴上说着原创，其实就是把别人文章改个头尾，中间段落换个顺序，这种内容百度早就见怪不怪了。它的算法里有个“百度倒排索引”的概念，相似度达到一定比例就会自动归入垃圾库，连抓取都不进来。更别提那些从百度百科、知乎直接复制粘贴的，蜘蛛抓回去一对比，发现你的页面还没有源页面质量高，它图啥？抓回来又不会给自己长面子。真正能被抓取的文章，要么有独特的数据，要么有独到的观点，哪怕文笔一般，至少得让人觉得这页面有存在价值。
服务器这块问题也不小。百度蜘蛛来抓你的页面，相当于一次HTTP请求，如果你的服务器响应时间超过三秒，或者频繁返回500、503状态码，蜘蛛就会判定这个站点不稳定。它会果断放弃继续爬行，本来打算抓十页的，抓了两页就跑了，你那文章刚好排在后面，也就没被带走。有些网站用了防御CC攻击的插件，设置得太敏感，把百度蜘蛛的IP当成攻击封掉了，这种乌龙事件每年都有不少。自己可以在服务器日志里搜Baiduspider的访问记录，看看最近一星期有没有来过，频率是多少，如果压根没记录，那服务器层面的问题就大了。
还有个很多人不太知道的原因：百度对新页面有考察期。新域名或者老域名开了新栏目，页面权重从零开始累积。蜘蛛可能已经抓过你的页面了，但抓取不等于索引。它会把页面放进一个待定池，观察一段时间，看这个页面有没有被其他网站引用，看用户后续有没有通过搜索点进来，观察期短则一周，长的一个月都有。这期间你反复改动文章内容，比如把标题改了、正文大改，蜘蛛又得重新认识这个页面，观察期又得从头计。所以文章发布后除非严重错误，尽量别动它，让它老老实实过完考察期。
外链这块展开点说。很多人看不上论坛和分类信息网站的外链，觉得太low容易掉，但就是这玩意儿能帮百度发现你的新页面。你去权重高的地方发个帖子贴链接，或者在新站目录提交一下页面地址，百度蜘蛛顺着链接就摸过来了。还有社交媒体的分享，只要有人分享，链接就是一个指向你的信号。别指望一下子几十条外链涌进来，那反而会被当成作弊，得细水长流，一天两三个有一步一个脚印的感觉，蜘蛛才会觉得这网站是活的。
最后一个容易踩的坑是用百度站长平台的主动推送功能。有些站长把sitemap提交完之后就不管了，觉得万事大吉。其实sitemap只是告诉百度“我有这些页面”，但百度会按照页面权重排序决定要不要抓。你得在后台用普通收录接口定期推送一下最新文章，像喂饭一样喂给蜘蛛。有些人推送完了又觉得文章不好，马上删除，这种反复搞几次，接口权重会被降，这就是为什么有的人越提交越不收录。
页面不抓取，十个里面有八个是以上原因叠加造成的。建议你先查robots，再看源代码里有没有文章正文，然后查服务器日志里蜘蛛来没来过，用百度资源平台看抓取异常报告。这四步走完，基本就能定位问题了。剩下的就是耐心，百度对低频更新网站的爬行周期本来就长，你网站一天就发一篇文章，蜘蛛可能半个月才来一次，这没问题，问题是来了你得让它看到值得抓的东西。