百度蜘蛛不会因为你刚上线就立刻爬首页,它有自己的调度逻辑。想让首页快点被爬到,核心就三件事:让蜘蛛能找到、能进来、愿意多来。把这三件事做好,新站从几天缩短到几小时不是没可能,老站甚至几分钟内就能看到日志里有Baiduspider。
先看最基础的抓取通道。打开网站根目录的robots.txt,确认没有Disallow: /,也没有针对Baiduspider的禁止规则。首页必须返回200状态码,别用302跳来跳去,301永久跳转最多一次。服务器别动不动就503、403,百度蜘蛛遇到几次错误就会降低抓取频次。用百度搜索资源平台的抓取诊断跑一下,看百度蜘蛛模拟访问首页时返回什么。如果诊断显示无法连接、超时、403,先解决这些,再谈快速收录。
接着去百度搜索资源平台验证站点。验证方式可以用文件、CNAME、HTML标签。验证通过后,马上用普通收录里的手动提交,把首页URL提交上去。如果账号有快速收录权限,优先用快速收录接口。普通收录的API推送比手动提交快,配额看站点质量,新站可能每天几条到几十条,权重站能到几百上千。没有API就写个脚本,把首页和新页面推一遍。sitemap也提交,虽然它不保证即时抓取,但能给百度一个稳定入口。
外链是引蜘蛛的老办法,但别乱买。找几个百度蜘蛛经常光顾的页面,比如高权重论坛、行业站、百度自家产品的个人主页,放一条指向首页的链接。nofollow链接不传递权重,但蜘蛛可能顺着爬。新站没外链,蜘蛛发现你的路径就少。可以在已经收录的页面里加首页