robots txt怎么写：搜索引擎抓取规则编写指南

📍 WDQWDWQD987AAAAA:216.73.216.139
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /2077c967ab35.html
📄

robots.txt 是网站与搜索引擎爬虫沟通的“第一道门”，正确编写能帮助搜索引擎高效抓取页面，避免浪费抓取配额。下面从基础语法到实用示例，说明 robots txt怎么写。

一、robots.txt 的基本结构

robots.txt 是一个纯文本文件，必须放在网站根目录下，文件名全小写。它由若干条记录组成，每条记录包含 User-agent（指定爬虫）和若干指令。常见指令有：

• User-agent：指定规则适用的爬虫，* 表示所有爬虫。（注：输出时请用普通文本，此处仅为说明）
• Disallow：禁止抓取的路径。
• Allow：允许抓取的路径，常用于覆盖 Disallow。
• Sitemap：声明网站地图地址，便于爬虫发现页面。

二、编写步骤与注意事项

1. 确定需要屏蔽的目录，例如后台、搜索结果页、购物车等。
2. 为不同爬虫设置独立规则，用空行分隔不同 User-agent 组。
3. 使用 Allow 精确放行重要资源，避免误屏蔽 CSS、JS 文件。
4. 在文件末尾添加 Sitemap 地址，通常写成完整 URL。

注意：Disallow 后留空表示允许所有；写成 Disallow: / 则屏蔽全站。路径区分大小写，且不支持通配符的旧爬虫需谨慎使用 * 和 $。

三、一个简单示例

以下示例允许所有爬虫抓取全站，但屏蔽后台目录，并声明站点地图：

User-agent: *
Disallow: /admin/
Disallow: /search/
Allow: /images/
Sitemap: https://www.example.com/sitemap.xml

编写完成后，用浏览器访问 域名/robots.txt 验证是否可正常读取。若需测试规则效果，可借助搜索引擎站长平台的 robots 测试工具。掌握以上要点，robots txt怎么写就不再是难题。