robot txt 是什么?robots.txt 写法与 SEO 优化完整指南

📍 WDQWDWQD987AAAAA:216.73.216.200
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /137a4896422e.html
📄

robot txt 是什么?

robot txt(通常写作 robots.txt)是网站根目录下的纯文本文件,用于告诉搜索引擎爬虫哪些页面可以抓取、哪些需要避开。它遵循 Robots 协议,是网站与搜索引擎之间最基础的沟通方式。正确配置 robot txt 能帮助站点节省抓取预算、保护后台目录,并避免重复内容影响 SEO 表现。

robot txt 的基本语法

一个标准的 robots.txt 由若干指令组成,常用字段如下:

例如:User-agent: * 后接 Disallow: /admin/ 即可屏蔽后台目录。注意字段区分大小写,且每个指令需独占一行。

robot txt 的 SEO 优化建议

很多站长误以为 robots.txt 能直接删除收录,其实它只控制抓取,不控制索引。若想隐藏敏感页面,应配合 noindex 使用。优化时可参考以下要点:

  1. 不要屏蔽 CSS、JS 文件,否则会影响移动端友好性判断。
  2. 使用 Allow 精确开放重要栏目,避免误伤产品页。
  3. 在文件末尾声明 Sitemap,提升页面发现效率。
  4. 定期检查 robot txt 是否被恶意篡改,保障网站安全。

常见错误与检查方法

常见的 robot txt 错误包括路径写错、通配符使用不当、规则冲突等。建议使用搜索引擎官方工具或在线 robots.txt 测试器验证效果,观察抓取统计中的屏蔽报告,及时修正规则。合理配置 robot txt,是网站技术 SEO 不可忽视的一环。

图1 图2

nginx