robots.txt 与 sitemap.xml 的部署要点

发布时间:2026-06-11 17:43

搜索引擎爬虫进站，先读 robots.txt 决定哪些地方能去，再靠 sitemap.xml 找全页面。两个文件加起来几 KB，却划定了收录的范围和效率，部署上有几处细节值得抠。 ## 一、robots.txt：划定边界 文件必须放在站点根目录，比如 https://example.com/robots.txt，文件名全小写。基本写法： ``` User-agent: * Disallow: /admin/ Disallow: /cart/ Sitemap: https://example.com/sitemap.xml ``` 原则是封掉后台、购物车、站内搜索结果这类不该被收录的路径，放行正文页面。要记住 Disallow 只是约定，不是安全手段，敏感目录该加认证还得加认证。User-agent: * 表示对所有爬虫生效，想单独约束某家爬虫，再写一组它的名字即可。改版换 URL 时，也别顺手把旧路径全部封死，用跳转让权重平稳过渡更稳妥。 ## 二、写错最常见的三种情况 一是路径大小写写错，规则区分大小写；二是想封全站却写成 Disallow:（空值等于全部放行），封全站应该是 Disallow: /；三是改版后旧规则没清理，把新栏目误封了。主流搜索平台的站长工具里都有 robots 检测功能，改完输入几个路径验证一下再上线。 ## 三、sitemap.xml：页面清单 XML 格式能给每条 URL 带最后更新时间： ``` https://example.com/post/1.html 2026-09-30 ``` 单文件上限是五万条 URL、五十 MB，超了就拆成索引文件再分片引用。清单里只放规范地址（canonical），带排序参数、带追踪参数的重复 URL 不要塞进去，反而稀释抓取预算。lastmod 只在内容真的更新时才改，全站统一刷成发布日，搜索引擎会逐渐不信任这个字段。 ## 四、提交与验证 两个文件都在各搜索平台的站长工具里提交，之后能看到抓取状态和报错。robots.txt 保存即生效，sitemap 更新后等爬虫按自己的周期来取即可，急不来。更新频率跟着内容节奏走：日更站每天生成一次，周更站每周一次足够，频繁生成没有额外收益。 每次大改版或换域名，把这两个文件列入检查清单。收录出现莫名波动时先看它们，一半的问题出在这里。