robots.txt は必須ですか？

いいえ。無くても通常どおりクロールされます — クローラーは404を「すべて許可」と解釈します。取得されたくないパスができたとき、あるいはサイトマップの場所を伝えたいときから必要になります。

サーバーにファイルがあるのに404になるのはなぜですか？

ほとんどの場合、ドメイン直下から配信されていないためです。静的サイトのフレームワークでは特定のフォルダ（`public/`、`static/`、`www/`）に置かないと `/robots.txt` に出ませんし、ホスティング側がそのパスを横取りすることもあります。ディスク上の存在を信じず、URLを直接開いて確認してください。

robots.txt でブロックすればGoogleから消えますか？

いいえ。最もよくある誤解です。ブロックはクロールを止めるためGoogleは中身を読めませんが、他ページからリンクされていればURL自体は検索結果に残ることがあります。クロールは許可した上で noindex メタタグを使うのが正解です。

AIクローラーもここで止められますか？

はい。GPTBot、ClaudeBot、PerplexityBot、CCBot、Google-Extended はいずれも robots.txt の user-agent ルールに従います。ただしこれはセキュリティ機構ではなく方針の表明です — 遵守を選んだクローラーだけが止まります。

robots.txt 確認

robots.txtはドメイン直下（yoursite.com/robots.txt）に置くプレーンテキストファイルで、クローラーがどのパスを取得してよいかを伝えます。下にドメインを入力すると、実際にファイルを取得して到達可能かどうか、サイトマップの場所をクローラーに伝えているかまで確認します。

13%が robots.txt なし

分析したウェブサイト 959 件のうち

公開データベースの全サイトを対象に集計しています。

なぜ重要か

robots.txtが無いことより、間違って有ることの方が危険です

ファイルが無ければクローラーは「すべて許可」とみなして通過します。本当の事故は、ファイルがあるのに誤ったものを塞いでいる場合です。ステージング環境の `Disallow: /` がそのまま公開されるとサイト全体がインデックスから消え、これはトラフィックが突然消失する最もよくある原因の一つです。だから「有るか」より「何が書かれているか」が重要です。

クローラーがサイトマップを探す場所です

robots.txt の `Sitemap:` 一行は、Google・Bing・Naver・Yandex などの主要クローラーが、何も送信しなくても確認する唯一の場所です。被リンクの無い新規ドメインでは、内部ページが発見される事実上唯一の経路であることも多いです。

直し方

1. サブフォルダではなくルートに置く
`https://yoursite.com/robots.txt` ちょうどその位置で応答する必要があります。`/public/robots.txt` や `/assets/robots.txt` は無視されます。サブドメインはそれぞれ別に必要です — `blog.yoursite.com/robots.txt` はルートドメインのファイルとは完全に別物です。
2. 安全な既定形から始める
多くのサイトではこれがファイル全体です。1行目 `User-agent: *`、2行目 `Allow: /`、1行空けて `Sitemap: https://yoursite.com/sitemap.xml`。`Disallow:` は本当に取得されたくないパスにだけ追加します — 管理画面、カート・決済URL、サイト内検索結果くらいです。
3. 検索結果から隠す用途で使わない
Disallow は*クロール*を止めるだけで*インデックス*は止めません。外部リンクのあるブロック済みURLは、説明文なしで検索結果に出ることがあります。検索から外したい場合はクローラーに取得を許可した上で `<meta name="robots" content="noindex">` を入れます。robots.txt で塞ぐと、その noindex 自体が読まれません。
4. デプロイ後に必ず確認する
シークリットウィンドウでURLを開いてください。404、トップへのリダイレクト、HTMLエラーページはすべて壊れている状態です。その後もう一度上の検査を実行し、サイトマップ行が拾われるか確認します。

説明ではなく、直してほしい場合は

時間単価や月額顧問料ではなく、定額で対応します。着手前に金額を確定してお伝えします。

定額料金を見る →

よくある質問

robots.txt は必須ですか？: いいえ。無くても通常どおりクロールされます — クローラーは404を「すべて許可」と解釈します。取得されたくないパスができたとき、あるいはサイトマップの場所を伝えたいときから必要になります。
サーバーにファイルがあるのに404になるのはなぜですか？: ほとんどの場合、ドメイン直下から配信されていないためです。静的サイトのフレームワークでは特定のフォルダ（`public/`、`static/`、`www/`）に置かないと `/robots.txt` に出ませんし、ホスティング側がそのパスを横取りすることもあります。ディスク上の存在を信じず、URLを直接開いて確認してください。
robots.txt でブロックすればGoogleから消えますか？: いいえ。最もよくある誤解です。ブロックはクロールを止めるためGoogleは中身を読めませんが、他ページからリンクされていればURL自体は検索結果に残ることがあります。クロールは許可した上で noindex メタタグを使うのが正解です。
AIクローラーもここで止められますか？: はい。GPTBot、ClaudeBot、PerplexityBot、CCBot、Google-Extended はいずれも robots.txt の user-agent ルールに従います。ただしこれはセキュリティ機構ではなく方針の表明です — 遵守を選んだクローラーだけが止まります。