114sohu上线四个月,百度收录数为零。这不是个别现象,但也不是无解的死局。我查看了这个站点的抓取日志和页面代码,问题集中在几个非常具体的位置。
先说robots.txt。这个文件在搜索引擎眼里是最高指令,114sohu的robots内容只有一行有效的规则,写的是Disallow: /,相当于把整个网站的所有目录都关上了。百度蜘蛛第一次来的时候,抓取到这个文件就转身走了,后续所有资源都没有被抓到。我在抓取诊断里看到,最近一次抓取发生在三周前,抓取的是robots.txt,状态码是200,但之后没有抓取任何链接。这是最直接的错误。站长可能是在修改robots时误把根目录屏蔽了,但无论原意如何,这一条规则足以让百度彻底放弃收录。
接着看服务器。114sohu用的是香港的虚拟主机,域名没有ICP备案。百度对未备案站点的抓取策略比较保守,虽然没有明文禁止,但抓取调度系统会降低这类站点的优先级。我从DNS和HTTP响应两个方向测过,首页平均响应时间约760毫秒,有时候会掉到3秒以上,这样的速度对一个只有静态页面的站点来说偏慢。更麻烦的是服务器启用了防火墙,来自百度蜘蛛的请求被拦截的概率大概有一成,这会导致抓取失败记录增加,进一步降低信任度。
内容方面,114sohu的首页是一个网址分类表,列了十几个门户和视频网站的链接,每个条目三五个字。抛开版权问题