网站文章怎么写才能让爬虫经常来

那天一个做SEO的朋友跟我抱怨，说网站每天更新，内容质量也不错，但搜索引擎的爬虫就是不常来。我看了一下他的网站，发现他犯了一个挺常见的毛病——光顾着写文章，却忘了爬虫不是人，它的阅读方式跟咱们完全不一样。

爬虫这东西，说穿了就是搜索引擎派出来的“小工兵”，它的活儿是沿着链接满互联网跑，把看到的网页带回去建索引。问题是互联网上的网页数以亿计，爬虫的资源就那么多，它凭什么隔三差五往你网站跑？凭的是你网站让它觉得“有东西可挖”。想让爬虫常来做客，你得在文章写作上琢磨点门道。

首先是更新的规律性。爬虫有它的判断逻辑，一个网站如果隔三差五冒出新页面，而且时间上有迹可循，它就摸清了你的底细，会掐着时间点来抓取。别今天连着发十篇，然后歇半个月，明天想起来又一口气发二十篇，这种“脉冲式”的更新最容易让爬虫摸不着头脑。它来一趟发现没新货，就走了，下次什么时候再来全看运气。你不如细水长流，每天固定发一篇，或者隔天发一篇，让它养成习惯，知道你这里总有新鲜货。这就像喂猫，你要是隔三差五撒一把猫粮，猫肯定天天蹲你门口。

其次是文章页面的“源码”要清爽。这里说的不是排版，而是代码结构。有些朋友写文章喜欢用花里胡哨的模板，图片是背景图，标题用JavaScript动态生成，正文藏在几个tab标签切换里。人眼看着舒服，可爬虫进了页面，睁眼瞎，什么都读不出来。爬虫读的是HTML源码，它不管你的页面多好看，它看的是有没有清晰的标题标签、段落标签、图片的alt描述。你写文章的时候心里要有个谱，标题就用h1，副标题用h2，正文老老实实放在p标签里，图片务必加上alt属性说明内容。页面结构越简单明了，爬虫读起来越省力，它就越愿意来。你要是非得用那种全动态渲染的框架，至少做个服务器端渲染，或者提供静态版本给爬虫看。说句实在话，我在后台写文章的时候，写完都会右键查看一下源码，确认关键的文本内容都在源码里躺着一目了然，这样我才放心。

再一个就是文章之间的“勾连”。爬虫是从链接来的，一个页面如果没有入口也没有出口，爬虫进去了就死胡同，它自然不愿多待。你写文章的时候，得学会在字里行间自然地把站内相关的老文章链接进去。好比写一篇关于钓鱼饵料的文章，中间提到不同季节鱼的习性，顺势就链接到之前写过的“春季鲫鱼开口时间”那篇，这样爬虫在你网站里就有路可走，翻起来有甜头，它会沿着这些链接一层层往里钻，钻得越深，你网站的收录就越多，爬虫来的频率自然就上去了。内容之间的推荐位也要好好利用，别放那种孤零零没人点的小卡片，要用文字链在正文里有机地穿插。

然后你得注意文章的字数和质量。爬虫虽然看不清你能不能吃，但它能通过一些技术指标判断内容的分量。比如太短的文章，两三百字，爬虫觉得你没什么干货，敷衍了事；太长的呢，几千上万字，它有时候也懒得多看。一千字左右的文章，信息密度高的话，在搜索引擎看来是个比较标准的“中等体重”页面。至于质量，现在搜索引擎的算法越来越聪明，它会分析文章的重复度高不高，是不是东拼西凑的，有没有实质性的信息增量。你要是天天发那些从别人那变个说法的洗稿文，爬虫虽然当时收录了，后头被算法识别出来，给它的感觉就是你这是个垃圾场，那它就不想再来了。写文章的时候就想着把一件事说透，别怕观点不全面，但最好有自己的经验或者数据在里面，有独特的东西，爬虫才会把你当成一个“内容源”，而不只是一个搬运站。

还有一点很多人容易忽略，就是文章里头别搞那些“障眼法”。什么叫障眼法？就是给爬虫看的东西和给人看的东西不一样。有些人用隐藏文字，或者把关键词堆得密密麻麻塞在文章里，这种做法短时间可能骗骗老一代的爬虫，现在的主流搜索引擎对这套规则了如指掌，一旦发现你作弊，轻则降权，重则整个网站被拉进黑名单，那时候叫天天不应叫地地不灵。爬虫虽然是个机器，但它的算法逻辑里带着“用户体验”这个尺子，你文章里要是有明显的恶意弹窗、强制跳转、暗链之类的东西，它判定用户在你网站会受伤害，它来一回就不来第二回了。

另外，网站的响应速度和稳定性也是隐形因素。你文章的服务器要是三天两头打不开，或者打开要五六秒，爬虫的耐心也是很有限的，它会认为你网站的运营不靠谱，来的次数自然打折。这个可能不属于“写”的范畴，但跟文章页面本身的体验直接挂钩。图片别传原图太大的，压缩一下，代码臃肿的插件该卸就卸，尽量给爬虫一个轻快的浏览环境。

我从自己的实践里感觉，让爬虫常来这件事，核心就一句话——用“服务心态”写文章，让爬虫在你的网站上待得舒服。你今天用心写的每一篇文章，页面上每一个合理的设置，都是在给爬虫递名片，告诉它：我这里是个好地方，你有空常来坐坐。时间长了，它自己就成了习惯，网站权重起来，收录量扩大，流量也就是顺带的事情。别去追求什么奇技淫巧，把最基础的文章内容和页面代码做好，爬虫自然不请自来。