Robots.txt ジェネレーターガイド

robots.txt ファイルは、検索エンジンクローラーがサイト上のどの URL にアクセスできるかを指定します。このツールは一般的な設定で robots.txt ファイルを生成するのに役立ちます。

基本的な使い方

1. User-agent（検索エンジンボット）を選択
2. Allow/Disallow ルールを追加
3. クロール遅延とサイトマップ URL を設定
4. robots.txt を生成してダウンロード

一般的なルール

• User-agent: * はすべてのボットに適用
• Disallow: /admin/ は管理ページへのアクセスをブロック
• Allow: /blog/ はブログページへのアクセスを許可
• Crawl-delay: 10 はリクエスト間の遅延を設定
• Sitemap: https://example.com/sitemap.xml はサイトマップの場所を宣言