90hocc上线刚满一周,后台能看到百度蜘蛛、搜狗蜘蛛的爬行记录,每天都有那么几次抓取,可site查询一看,只收录了一个首页,内页一个没进。这事儿搁谁身上都得嘀咕两句:蜘蛛都来了,咋就不给收录呢?
我前阵子也盯过一个新站,情况几乎一模一样。上线第三天开始有蜘蛛爬,第七天收录首页,内页等到第十二天才陆续出来。所以先别慌,一周只收录首页在新站里太常见了,百度对新域名有个考察期,行话叫“沙盒”或者“观察期”,短则一两周,长则个把月。这期间蜘蛛会来,但索引给得很吝啬,它在看你这个站稳不稳定、内容是不是原创、有没有人访问。
蜘蛛爬行和收录是两码事。爬行只是蜘蛛发现了你的URL,过来瞅一眼,把页面抓回去。收录是另一套流程:抓回去的内容要经过索引评估,判断值不值得放进数据库。新站权重低,蜘蛛给你的抓取预算就那么点,它可能只爬了首页和几个栏目页,内页根本没碰。你看到的爬行纪录里,大概率大部分是首页或者sitemap里的链接,真正深层的页面蜘蛛还没走到。
再说几个实际原因。一是内容问题。90hocc如果上线一周只发了五六篇文章,而且有些是网上扒来改的,蜘蛛抓回去一比对,重复度高,直接不给索引。新站最好每篇都自己写,哪怕短一点,三百字原创也比三千字拼凑强。二是网站结构。蜘蛛进来先看首页,然后顺着内链往下走。要是你的内页入口藏得深,比如要点三四次才能到,蜘蛛爬到第二层就懒得动了。建议首页多放几个内页链接,栏目页也互相链一下。三是robots.txt或者nofollow标签误伤。有些建站程序默认把内页加了nofollow,蜘蛛看到了就不跟,你后台爬行纪录里只有首页,内页压根没被发现。去检查一下robots文件有没有屏蔽目录,页面源码里有没有多余的nofollow。四是sitemap没提交或者格式不对。百度搜索资源平台里提交sitemap,主动推送URL,能明显加快发现速度。我试过同一个新站,提交sitemap后第三天内页就开始有爬行纪录了。五是服务器稳定性。蜘蛛来抓的时候如果页面打不开、返回503或者加载超过三秒,它扭头就走,下次再来就不知道啥时候了。新站尽量用稳定的空间,别贪便宜用那种一天宕机三次的。
还有个小细节:外链。新站上线一周,外链基本为零,蜘蛛凭啥知道你有内页?除了sitemap,去几个相关论坛或者博客留一两条自然的外链,不用多,两三条高质量的就行,蜘蛛顺着链接就爬进来了。

具体到90hocc,我的建议是先别急着改标题改结构。新站最忌讳上线一周就大动,蜘蛛刚熟悉你的URL,你一改它又得重新评估。每天保持更新一篇原创,去搜索资源平台做抓取诊断,看看返回码是不是200。用site指令查一下收录,如果只有首页,就手动提交几个内页URL。再等一周,到第十五天左右再看,大概率内页就开始进了。要是过了三周还只收录首页,再回头查内容质量和外链。
说白了,一周时间太短。蜘蛛爬了说明你的站没被屏蔽,这是好事。收录慢是正常节奏,耐心喂内容、保持稳定,该来的都会来。我见过最快的新站第三天收录内页,也见过拖了四十天才开始收的,差异就在内容和外链上。90hocc先把原创更新坚持两周,sitemap每天推一次,别折腾,等结果就行。