先把这个说法掰正一下:严格说没有一份“禁止百度收录的网站名单”,淘宝也不是被法律禁止收录,它是自己在robots.txt里把百度蜘蛛挡在门外。robots.txt是网站和搜索引擎之间的约定,百度官方也说明会遵守。所以你在百度搜不到某个站,不等于这个站有问题,很多时候是站方主动不让抓。淘宝就是最典型的例子,它的robots.txt里对Baiduspider写的是Disallow: /,基本等于整站不欢迎百度蜘蛛。商品页、店铺页、搜索页都不让抓,百度自然没法收录。你拿一款淘宝商品的全标题去百度搜,经常只能搜到站外导购、新闻或者过期页面,原商品链接很少直接出来。淘宝这么做不难理解,商品价格、库存、评价是它的核心数据,它不希望百度把比价流量截走,更愿意用户留在淘宝里搜和买。
天猫跟淘宝是一个路数。天猫商品详情页对百度蜘蛛也不开放,百度能搜到的多是品牌介绍、活动新闻、外部种草文,具体商品页成规模收录的情况很少。闲鱼作为阿里系产品,二手商品页同样不靠百度来流量,你在百度搜闲鱼商品,结果往往不如直接进闲鱼搜。这里要分清“整站屏蔽”和“部分屏蔽”,淘宝、天猫属于比较彻底的,闲鱼也偏封闭。
微信公众平台是另一类。公众号文章链接在mp.weixin.qq.com上,这个域名对通用搜索引擎并不开放,百度抓不到正文,所以你在百度搜公众号文章,经常只能看到转载、洗稿或者第三方网站搬运的内容,原文很少。微信把内容留在自己生态里,靠微信搜一搜和社交转发吃饭,不需要百度给流量。朋友圈、公众号历史消息更要登录,百度蜘蛛进不去,谈不上收录。QQ空间个人内容也类似,登录墙一挡,搜索引擎只能干瞪眼。
小红书的情况没那么绝对。它对百度蜘蛛有选择地限制,核心笔记页收录不稳定,百度里能搜到一些品牌页、聚合页、外部转载,但你想靠百度把小红书笔记搜全,基本不现实。小红书更愿意用户在站内搜,笔记的收藏、评论、种草关系都留在自己手里。抖音也不算彻底禁止百度收录,百度能搜到一些抖音视频页,但评论、推荐流和大量内容抓不全,属于半封闭。头条号、抖音这类字节系内容对百度有保留,但没有淘宝那种整站屏蔽那么硬。
还有一类不是网站主动写规则,而是技术上门槛太高。比如大量内容靠登录、验证码、动态加载、App内浏览,百度蜘蛛抓不到完整页面,收录自然差。很多电商和社交平台都这样,页面在App里活得好好的,在搜索引擎眼里却是一堵墙。你搜不到,不代表内容不存在,只是搜索引擎没被允许进去。

对普通用户来说,这事的影响很直接:搜商品别死磕百度,淘宝、天猫、闲鱼站内搜更准;搜公众号文章用微信搜一搜;搜小红书笔记进小红书;搜短视频去抖音。百度不再是万能入口,很多平台把内容做成了封闭花园。对做网站的人来说,robots.txt写Disallow要谨慎,挡百度容易,想再让百度收录就难了,尤其新站,流量可能直接少一大截。淘宝这种巨头有资本不让百度抓,小站跟着学,往往先伤自己。