李涛自留地
回到顶部
首页 > Seo优化 > robots文件存在限制指令,Disallow写错会挡掉全站

robots文件存在限制指令,Disallow写错会挡掉全站

文章目录

Disallow 写错一个字符,真能把整站从搜索结果里清掉吗?答案不是一个「会」或「不会」,得先把三件事定下来:错在哪一行、文件有没有真的从根目录取到、服务器回的是 200 还是 404。后台提示robots文件存在限制指令的时候,这三件事没对齐,改哪一行都是赌。

Disallow 规则里,常见的三种写法只有一种真挡站

下面三种写法常被当成「封站」,其中只有第一种真能挡死全站,后两种方向刚好相反——看着像封禁,实际在放行。

三组 User-agent 各自挂规则的分组结构

Disallow: / 后面一个斜杠,意思是整站不许抓。这是最常见的一类事故:从测试环境同步配置、临时挂维护页、改版期间先封两周,事做完了那行没删。

Disallow: 冒号后面留空,语义整个翻过来,是全部放行。有人抱着「封站」的目的写了这一行,隔天看收录一条没少,才发现空值和斜杠差一个字符。

Disallow: admin 缺了前导斜杠。按 Google 的规范,这个值必须以 / 或 * 开头,不以这两个字符开头的行会被当成无效行整行忽略。写完以为封住了,实际一个字都没生效。

还有一种半对半错:Allow 和 Disallow 同时命中一条 URL 时按最长匹配判定,长度相等才轮到 Allow 优先,这是 Google 的规则。所以 Disallow: /admin 配 Allow: /admin/login,登录页确实放行;可写成 Allow: /admin/login.html、地址却是 /admin/login,那条规则永远匹配不上。

下面这几行是从一个改版中的站点上原样摘下来的:

User-agent: *
Disallow: /
Allow: /$

$ 是结尾锚点,只匹配根路径,所以整体效果是首页留着、其余全挡。当作临时兜底没问题,麻烦在于它是手写进仓库的,改版结束没人清,半年后新同事照着这份文件搭环境,整站又挡一次。

逐行核对的清单

拿到一个疑似被限制的站,后台那句robots文件存在限制指令只是一条提示,按下面几条走一遍,比反复调正则省时间。

  • 位置:只能是 https://域名/robots.txt,放子目录不生效,文件名大小写也要对。
  • 协议与主机:http 和 https、带 www 和不带,各算一份文件,常见情况是改了一份、另一份还是旧的。
  • 分组:连续的多个 User-agent 行共享下面同一组规则,空行开新组。把 User-agent: * 的规则写在 Baiduspider 那组底下,等于没写。
  • 大小写:路径区分大小写,/Admin 挡不住 /admin。
  • 行尾注释:# 开头的整行是注释,但行尾追加一段说明,有解析器会把后面内容一起当成路径,注释单独起一行。
  • 编码:UTF-8、不带 BOM。用记事本另存成带 BOM 的,第一行 User-agent 前面多出三个字节,这一组可能整组挂不上去。
  • 体积:Google 只解析前 500 KiB,超出的部分截断,不报错。

抓取后按状态码分流到日志的四个节点

分组这一条值得多看一眼,规则不是从上往下依次套用,而是先归组、再在组内匹配。

清单核完仍然看到robots文件存在限制指令,问题基本落在 Allow 与通配符的匹配顺序上。这时候别继续改文件,先把当前生效的匹配结果抓出来看。

用 robots 抓取测试确认真实生效范围

改完文件要验证,验证的第一步不是打开后台工具,是把文件真抓一遍。

curl -sS -D - -o robots_local.txt https://leetao.cc/robots.txt

-D - 把响应头直接打到终端,-o 把正文另存一份。只看两行就够:状态码和 Content-Type。正常应当返回 HTTP/1.1 200 OK 和 text/plain。

如果 Content-Type 是 text/html,说明请求被前端路由或者 404 兜底页接走了,吐回来的是首页 HTML。解析器读到的不是指令,这份文件等于不存在——写了但没生效,和根本没写,结果一样。

Nginx 上加一段能把这条路堵死:

location = /robots.txt {
    default_type text/plain;
    try_files $uri =404;
}

=404 的意思是文件不在就直接回 404,不许回落到 index.html。

还有一个只有翻自己日志才看得出来的现象:封禁真正生效之后,那条 URL 的请求不是变成 403,而是从日志里消失。留下来的只有 /robots.txt 本身的 200 记录,UA 是 Baiduspider 或 Googlebot。拿「日志里没有 403」当作没被封的证据,方向从头就是错的。

工具这边,Google Search Console 的 robots.txt 报告会给出抓取时间和最终生效的规则,百度搜索资源平台也有对应入口,填一条 URL 看匹配结果。工具说允许,只代表语法层面通过,robots 抓取测试还得配一眼日志,确认那条 URL 真的被请求过一次。

状态码和编码比语法更容易出错

爬虫取不到文件时,回什么状态码,结论完全不一样。

左侧页面全部可达,右侧箭头停在页面前

404 以及其余 4xx,Google 视为没有限制,全站可抓。robots.txt 被误删、被改名、被 CDN 规则拦掉,走的都是这条路——这一次是全放开,不是全挡死。

5xx 是另一种处理,抓取会先停下来,不会把这次当成放行。源站在打补丁、维护窗口里回 502,都可能触发一段时间的暂停抓取。

301 和 302 会被跟随,跨主机跳过去时各家引擎处理不一致,www 与非 www 互跳最容易出岔子。

语法没错、状态码也对,robots文件存在限制指令却还挂着,那问题多半在别的层:编码对不上、注释吃掉了路径,或者这个主机名根本没取到那份文件。

恢复要等多久,给不了准数

文件改回来只是必要条件。爬虫要重新取一次 robots.txt,才会按新规则抓;中间隔多久,取决于这个站平时多久被回访一次、抓取频次多少。回访密的站快,抓取预算低的站慢,我没法从一个站推另一个站。

能主动做的只有两件:控制台里请求重新抓取,确认那份文件在 CDN 边缘节点也更新了。只刷源站、边缘还挂着旧版本,改十遍也一样。

至于百度对 Allow 与 Disallow 等长冲突的处理,官方文档写得不如 Google 细,不同年份的说明还有出入,多引擎的站我一般每个引擎各测一条 URL,再以官方文档为准下结论。

多语言站按子目录拆的那种更绕:主域那份文件把限制写到了全站,子目录站点又各自有一份,robots文件存在限制指令究竟由哪一份生效,只能按引擎分别去验,验完才知道该动哪个文件。

若非作者标注皆为李涛自留地原创文章,转载或复制请以超链接形式并注明出处。