网站目录隐藏了目录下面的文章还会被收录吗

这个问题的答案并不是简单的“会”或“不会”，关键要看隐藏目录用的具体方式。很多站长以为把目录从菜单里去掉、或者加上密码就算隐藏，但搜索引擎判断的标准只有一个：能不能抓到完整的页面内容。采用不同的隐藏手法，最终结果完全不同。

如果目录是通过robots.txt屏蔽的，比如在根目录文件里写入“Disallow: /hidden/”，爬虫访问这个目录时会被直接拦下，无法读取目录下的任何文章页面。这种情况下，如果这些文章此前从未被收录，之后基本就不可能再被搜索引擎抓取。即便网站的其他页面存在指向文章的链接，爬虫跟踪过来也会被robots规则挡住。但需要注意，robots.txt并没有移除索引的功能。对于已经被收录的老页面，这个指令不会让它们立刻从搜索结果里消失。百度官方曾多次强调，robots协议是阻止抓取的，不是清理收录的工具。已收录页面会继续保留一段时间，直到搜索引擎下一次抓取时发现无法访问，再根据周期逐渐将页面从索引中去除，整个过程可能持续几周甚至更久。

另一种常见操作是给目录下的所有文章加上noindex标签，无论是放到meta中还是通过HTTP响应头下发。这相当于明确告诉搜索引擎：页面你可以抓取，但不要把这张网页放进索引。这种方式对搜索引擎来说非常明确，只要页面被爬虫抓取，看到noindex信号，就会从索引中排除。如果页面已经存在于搜索结果中，站长提交已收录页面后，通常在几天内就能观察到收录数量下降，速度比robots快得多。所以如果目的是彻底不想让文章被收录，noindex是最可靠的手段。

如果是用登录验证或者IP白名单把目录保护起来，爬虫没有账号密码，访问时只能得到登录框或者403错误，文章正文完全暴露在网页源码之外。这种情况下，新文章肯定不会被收录，因为搜索引擎根本没有读到内容。而已经收录的旧文章，由于页面无法打开，搜索引擎会将其判断为死链或访问异常，随着抓取次数增加，收录会被逐步删除，权重也会清零。值得一提的是，有些站长只在页面里用JavaScript判断用户是否登录，但文章正文直接写在HTML源代码里，爬虫依然能抓到，这算一种漏洞式的“假保护”，仔细查看源代码就能发现。

还有一类情形不算真正的技术屏蔽，只是把目录从导航菜单或首页链接中隐藏了，目录文件夹仍然存在，文章URL也能直接访问。很多站长误以为去掉入口链接就等于隐藏，但搜索引擎发现新页面并不完全依赖站内导航。只要文章有独立URL，并且被外部网站链接过，或者写入了sitemap.xml，爬虫照样可以抓到这些页面并收录。隐藏导航链接确实会改变站点的内链结构，导致目录内页获得的推荐权重下降，有时候收录速度会变慢，但绝不会因为“没入口”而不收。只要页面内容质量合格，最终还是会出现在搜索结果里。

还有一种方式需要特别谨慎，就是用CSS或JavaScript把目录下的文章内容在视觉上隐藏，比如设置display:none，或者通过点击展开、滚动加载等交互方式显示文字。搜索引擎爬虫在抓取时会读取服务器返回的原始HTML，如果文章正文就躺在源码里，即使页面渲染后看不见，爬虫一样能读到并参与收录。Google从2018年起默认执行JavaScript，百度也具备基本的渲染能力，像Ajax异步加载的内容同样可能被抓取。不过，如果使用隐藏文字堆砌关键词、或者把透明文字放在页面上企图欺骗搜索引擎，这属于典型的作弊行为，一旦被识别会导致整站降权，而不是简单讨论收不收录了。正常出于交互体验设计的效果，比如手机端点击展开查看更多，因为内容是真实可读的，并不会影响收录。

回到最初的问题，隐藏目录本身不是决定收录与否的核心因素。搜索引擎收录一个页面的前提，是爬虫能够顺利访问到该页面并读取到正文内容。只要这个条件成立，文章就会被收录，哪怕它在目录里被隐藏得再深。反过来，如果访问被禁止、页面必须登录、或者明确给出noindex指令，那么无论目录隐藏与否，文章都不会进入索引。很多站长在遇到“目录隐藏了文章还在收录”的情况时，往往是因为他们只做了表面处理，没有从访问权限层面切断爬虫。最稳妥的做法是，先明确你想达到什么目地，再用对应的技术手段。想要文章彻底不被收录，直接给文章页加noindex；想让目录结构看起来干净，去掉导航入口即可；千万不要既不想收录又只做界面隐藏，那只会留下隐患。