robots.txt 全解析：SEO 爬虫协议配置与常见错误

📍 WDQWDWQD987AAAAA:216.73.216.200
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /ce0a85333284.html
📄

robots.txt 是网站与搜索引擎爬虫沟通的第一道协议文件，它告诉爬虫哪些页面可以抓取、哪些应当避开。正确配置 robots.txt 能保护后台目录、减少无效抓取，配置错误则可能导致页面无法收录。

robots.txt 的基本语法

文件必须放在网站根目录，文件名全小写。常用指令包括：

• User-agent：指定规则适用的爬虫，如 Googlebot 或 *。
• Disallow：禁止抓取的路径，例如 /admin/。
• Allow：在整体禁止中开放特定路径。
• Sitemap：声明网站地图地址，便于爬虫发现页面。

常见配置错误

最严重的问题是误写 Disallow: /，这会阻止所有爬虫抓取全站，直接导致收录归零。其次，robots.txt 只能控制抓取，不能阻止页面被索引；若需彻底移除页面，应使用 noindex 或密码保护。另外，robots.txt 是公开文件，不要在其中泄露敏感路径。

最佳实践建议

1. 上线前用搜索引擎的 robots.txt 测试工具验证语法。
2. 不要屏蔽 CSS、JS 资源，否则影响渲染与移动友好性。
3. 定期检查抓取日志，确认爬虫是否被意外拦截。
4. 与 sitemap.xml 配合使用，提升抓取效率。

总之，robots.txt 是 SEO 基础但关键的一环。保持规则简洁、定期审查，才能让搜索引擎顺畅抓取真正有价值的页面。