这问题问得挺实在,好多做站的朋友都有这个疑惑。说白了就是百度谷歌现在收录新内容挺勤快,只要发篇文章,不用你干啥,过个两三天自己就进来了,那还要网站地图做什么?直接说结论吧,有用,而且用处还不小,只是它的角色变了。
以前没蜘蛛池、没主动推送那会儿,网站地图就是给搜索引擎递的投名状,告诉人家你网站有哪些页面,赶紧来爬。那种靠地图撬开收录大门的时代确实过去了。现在百度有普通收录推送,谷歌有Indexing API,蜘蛛的抓取能力强了很多,新页面被找到根本不难。但这不代表地图就没用了,它从“敲门砖”变成了“导航图”。
拿我的站点举个例子,去年做过一次内容改版,删了几百个旧页面,还换了一批URL结构。要是没网站地图,谷歌那边可能还惦记着老地址,反复抓取返回404,浪费抓取配额不说,新页面也迟迟不被重视。我把新的地图一提交,谷歌很快就重爬了站点,把权重引导到新页面上,这个过程大概比自然发现快了差不多两三周。百度这边也是,虽然对地图的依赖程度不如谷歌,但主动提交比干等还是要靠谱一些。
还有个大场景是那些不怎么频繁更新的深页面。很多做B2B的企业站,产品页有几千个,很多小分类页面压根没有外链,蜘蛛要是从首页一层一层往下爬,好多底层页面可能一个月都轮不上一趟。这种时候网站地图就是捷径,能确保蜘蛛知道这些页面的存在,并且还能顺带告诉它哪些页面比较重要。谷歌官方在Search Central里也承认,sitemap对大型站点、独立页面很多或者页面缺少外链的站点作用明显。
不过话说回来,小站点、更新频率不高的内容站,地图的作用确实被稀释了不少。你要是每天写一两篇博客,通过内部链接和推送就能解决收录问题,地图顶多是个辅助。但就算在这种情况里,地图也承载了一个不起眼却重要的功能,就是提交你不想放过的主页、关于页、各种企业信息页。这些页面不像文章那样有频繁的曝光机会,很容易就被忽略掉。

百度官方对sitemap的态度比较务实,说它“主要用于解决搜索引擎无法发现或抓取困难的问题”,而且去年开始百度还调整了地图的优先级,把普通链接和视频链接分开了。实际上百度更看重的是实时推送和API提交这些主动发起的动作,但对新站的冷启动期来说,地图依旧是加速器。我自己做过一个新站测试,上线当天就提交地图,第一周就有一百多条页面被索引,这速度在以前简直不敢想。
如果只看“新内容能不能被正常收录”这个点,地图的作用确实被边缘化了。因为收录和索引本身就是两个概念,收录可能是抓到了,但索引是放进库里了,真正要的是被索引。网站地图上可以标出lastmod(最后修改时间),搜索引擎看到这个时间变了,就知道有更新,会加快重抓节奏。这个字段在新版地图里是至关重要的,很多站点把地图做成静态的、每次发完文章自动更新时间戳,这就是最高效的用法。
也得正视一个问题,地图不是万能的,它救不了那些内容质量很差或者结构混乱的站。有些人以为提交了地图就万事大吉,那是不现实的。百度有时候对某些地图文件里的URL就是不理不睬,甚至有些站内压根没设置好抓取规则,地图提交了也是白搭。所以别把它当成一劳永逸的工具。
还有一个比较隐蔽的用途,就是通过地图里的内容去观察搜索引擎的脾气。你把地图提交了以后,百度谷歌的后台都会显示这个地图里有多少条被索引、多少条被忽略,这些数据其实是站点健康度的一个直观晴雨表。很多时候通过对比地图数据和站点的实际抓取日志,能发现不少问题,比如哪类页面老是抓不到、哪个目录被遗漏了,这种信息价值可比单纯等收录大多了。
换句话说,网站地图的角色从以前的第一块敲门砖,变成了现在的体检报告和导航助手。它的价值不在于帮你“获得”收录,而在于帮你“维持”并且“优化”搜索引用的效率。你做站久了就会明白,搜索这事从来不只是一个动作,而是一套流程。地图在其中仍然是触达搜索引擎比较直接和全面的窗口,尤其当你对站点有比较大的调整时,它的作用会特别凸显。
所以别纠结“有用没用”,真正的问题是你怎么用。小站可以不用太依赖它,但别完全忽视它;大站或者持续发展的站,这玩意儿是必备的基础设施。搜索引擎爬虫再多再勤快,也不可能替你理解哪些页面重要哪些页面应该快收录,而这些你原本无法表达的东西,恰好就是网站地图最擅长传递的。