Robots.txt 生成器使用指南

robots.txt 文件用于告诉搜索引擎爬虫哪些 URL 可以访问。这个工具帮助你生成常用配置的 robots.txt 文件。

基本使用

1. 选择 User-agent（搜索引擎爬虫）
2. 添加 Allow/Disallow 规则
3. 设置爬取延迟和站点地图 URL
4. 生成并下载 robots.txt

常用规则

• User-agent: * 适用于所有爬虫
• Disallow: /admin/ 禁止访问管理页面
• Allow: /blog/ 允许访问博客页面
• Crawl-delay: 10 设置请求之间的延迟
• Sitemap: https://example.com/sitemap.xml 声明站点地图位置