新站刚上线,兴冲冲跑去站长之家做SEO检测,结果标题、关键词、描述三栏全是空白,心里立马咯噔一下。别慌,这种情况太常见了,十有八九不是你的标签写错了,而是站长之家的抓取程序根本没拿到你的页面源码。
先搞明白站长之家这个检测工具是怎么工作的。它其实是个模拟蜘蛛,直接向你的服务器发一个HTTP请求,拿到返回的HTML代码后,解析里面`
`区域的`抓取失败的原因就那么几个,挨个排查就行。
最常见的是网站防火墙或CDN把站长之家的IP给拦了。很多新站为了安全,装了安全狗、云锁,或者用了Cloudflare、阿里云CDN,默认开启了防爬虫模式。站长之家的抓取请求特征比较明显,很容易被当成恶意爬虫直接拒绝,返回403或者超时。你可以在服务器防火墙日志里搜一下有没有来自站长之家IP段的拒绝记录。站长之家官方公布过抓取IP段,去官网查一下,加到白名单里就行。如果用Cloudflare,把“Under Attack”模式关掉,安全级别调到中等以下再试。
第二个原因是robots.txt写错了。有些建站程序默认生成的robots.txt里带了一行`Disallow: /`,意思是禁止所有蜘蛛抓取全站。站长之家虽然不一定是百度蜘蛛,但很多工具会遵循robots协议。打开你的域名/robots.txt看一眼,如果有这行,删掉或者改成`Allow: /`。

第三个原因是页面用了前端框架动态渲染。现在很多新站用Vue、React或者Nuxt、Next做,如果没做服务端渲染,初始HTML里只有一个空的`
`,标题和描述是靠JS执行后才塞进去的。站长之家的抓取器不执行JS,自然拿不到。解决办法是用服务端渲染,或者用预渲染插件把静态HTML生成出来。最简单的验证方法:浏览器里右键“查看网页源代码”(不是“检查”),搜一下`第四个原因是服务器响应太慢或者SSL证书有问题。站长之家抓取有超时限制,一般十秒左右。如果你的服务器本身慢,或者用了自签名证书、证书链不完整,抓取程序会直接放弃。用`curl -I https://你的域名`看一下响应时间,超过三秒就得优化。证书问题可以用站长之家的SSL检测工具查一下。
还有一种情况是域名解析不稳定或者用了不常见的端口。站长之家检测时输入的网址要带完整的协议,比如`https://www.xxx.com`,不要只写域名,也不要带端口号。有些新站还没配好www跳转,带www和不带www解析到不同地方,也会导致抓取异常。
排查顺序可以这样走:先浏览器查看源代码确认标签在不在;再访问robots.txt看有没有禁止;然后查防火墙和CDN日志;接着用`curl -A "Mozilla/5.0" 你的网址`模拟抓取,看返回的HTML里有没有标签。如果curl能拿到但站长之家拿不到,基本就是IP被拦了。如果curl也拿不到,那就是网站本身配置问题。
另外别只盯着站长之家一家。用爱站、5118或者百度搜索资源平台的“抓取诊断”交叉验证一下。百度抓取诊断能告诉你百度蜘蛛能不能正常访问,如果百度也抓不到,说明问题出在你服务器;如果百度能抓到但站长之家抓不到,那就是站长之家IP被拦了。实测下来,新站遇到这个问题,八成是防火墙或CDN拦截,一成是动态渲染,剩下的是robots和证书问题。按这个思路走,五分钟就能定位。