robot txt 是什么?robots.txt 写法与 SEO 优化完整指南
📍 WDQWDWQD987AAAAA:216.73.216.200
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /137a4896422e.html
📄
robot txt 是什么?
robot txt(通常写作 robots.txt)是网站根目录下的纯文本文件,用于告诉搜索引擎爬虫哪些页面可以抓取、哪些需要避开。它遵循 Robots 协议,是网站与搜索引擎之间最基础的沟通方式。正确配置 robot txt 能帮助站点节省抓取预算、保护后台目录,并避免重复内容影响 SEO 表现。
robot txt 的基本语法
一个标准的 robots.txt 由若干指令组成,常用字段如下:
- User-agent:指定规则适用的爬虫,星号代表所有爬虫。
- Disallow:禁止抓取的路径,留空表示允许全部。
- Allow:在禁止规则中开放特定目录。
- Sitemap:声明网站地图地址,方便爬虫发现页面。
例如:User-agent: * 后接 Disallow: /admin/ 即可屏蔽后台目录。注意字段区分大小写,且每个指令需独占一行。
robot txt 的 SEO 优化建议
很多站长误以为 robots.txt 能直接删除收录,其实它只控制抓取,不控制索引。若想隐藏敏感页面,应配合 noindex 使用。优化时可参考以下要点:
- 不要屏蔽 CSS、JS 文件,否则会影响移动端友好性判断。
- 使用 Allow 精确开放重要栏目,避免误伤产品页。
- 在文件末尾声明 Sitemap,提升页面发现效率。
- 定期检查 robot txt 是否被恶意篡改,保障网站安全。
常见错误与检查方法
常见的 robot txt 错误包括路径写错、通配符使用不当、规则冲突等。建议使用搜索引擎官方工具或在线 robots.txt 测试器验证效果,观察抓取统计中的屏蔽报告,及时修正规则。合理配置 robot txt,是网站技术 SEO 不可忽视的一环。