Robots.txt ジェネレーター
robots.txt ファイルを即座に生成。User-agent ルール、Allow/Disallow パス、Sitemap URL を設定できます。登録不要で無料。
使い方
- ドロップダウンから User-agent を選択（
*はすべてのボットを対象）するか、カスタムボット名を入力します。 - + Allow または + Disallow をクリックしてパスルールを追加します。
- ボットごとの設定が必要な場合は「+ Add User-agent Block」で追加ブロックを作成します。
- Sitemap がある場合は Sitemap URL を入力します。
- robots.txt の内容はリアルタイムで更新されます — Copy をクリックしてコピーしてください。
よく使われる robots.txt パターン
- すべてのボットをブロック：
User-agent: *+Disallow: / - すべてのボットを許可：
User-agent: *+Disallow:（空欄） - 特定ディレクトリをブロック：
Disallow: /admin/ - Googlebot のみ許可：
*をブロックした上で、Googlebot ブロックを追加してDisallow:を空にする
ファイルを生成したら、Web サーバーのルートディレクトリにアップロードし、
https://yourdomain.com/robots.txt でアクセスできる状態にしてください。
FAQ
robots.txt とは何ですか？
robots.txt はウェブサイトのルートディレクトリ（例：https://example.com/robots.txt）に置かれるテキストファイルで、クローラーがアクセスしてよいページや、してはいけないページをボットに伝えるものです。Robots Exclusion Protocol に準拠しています。
robots.txt はすべてのボットをブロックできますか？
いいえ。robots.txt はあくまで規約であり、セキュリティ対策ではありません。Googlebot や Bingbot などの良識あるクローラーは遵守しますが、悪意あるボットは無視する場合があります。コンテンツへのアクセスを確実に制限するには、サーバーレベルのアクセス制御を使用してください。
'Disallow: /' はどういう意味ですか？
指定した User-agent に対して、サイト内のすべてのページをクロールしないよう指示します。'User-agent: *' と 'Disallow: /' を組み合わせると、すべての準拠ボットがサイト全体にアクセスできなくなります。
複数の User-agent ブロックを設定できますか？
はい。クローラーごとに別々のルールセットを定義できます。「+ Add User-agent Block」をクリックして追加してください。各ブロックに独自の Allow/Disallow ルールを設定できます。
Sitemap ディレクティブはどこに書くべきですか？
robots.txt ファイルの末尾に記述するのが一般的です。検索エンジンに XML サイトマップの場所を伝え、インデックス対象のすべてのページを発見しやすくします。