llms.txtは必要?|Google検索・ChatGPT検索・AI学習のクローラーを整理する

生成AI向けのSEO対策として「サイトにllms.txtを置けば、AIに引用されやすくなる」と聞くことがあります。一方、Googleは2026年6月、Google検索での表示や順位にllms.txtが影響しないと明確に説明しました。では、llms.txtは不要なのでしょうか。

答えは、どのサービスに何をしてほしいかによります。AIエージェントが技術文書を探しやすくする用途と、Google検索に表示させること、AIモデルの学習への利用可否を管理することは、別の話です。この記事では公式の公開資料に基づき、役割と判断手順を整理します。

llms.txtとは何か――AI向けに情報の入り口を示す提案

提案者Jeremy Howardによる「The /llms.txt file, v2」は、サイトの概要や重要な文書へのリンクを、Markdown形式の「llms.txt」というファイルにまとめる仕様を提案しています。2024年9月に初版が発表され、2026年8月には第2版が公開されました。

狙いは、AIエージェントが大量のWebページを無差別に処理する前に、サイトの主要な文書、APIリファレンス、ガイドの位置を把握できるようにすることです。ソフトウェア開発者向けのドキュメントなど、入口を整理する価値があるサイトと相性がよいと考えられます。

ただし、これは誰もが必ず従うWebの標準規格として成立済みであるという意味ではなく、提案されている仕組みです。公開しただけで全AIサービスが自動的に読みに来るわけでも、引用するわけでもありません。

Google検索ではllms.txtを使わない

Google検索セントラルの「生成AI機能向けにウェブサイトを最適化するためのガイド」は、LLMS.txtなどの特別なAIテキストファイルを、Google検索のAI機能へ表示するために用意する必要はないと明記しています。Google検索自体がこれを使わず、作成しても検索順位や表示にはプラスにもマイナスにも影響しないという説明です。

Googleは2026年6月15日の公式ドキュメント更新履歴でもこの点を改めて説明しています。ほかのサービス向けにllms.txtを維持すること自体は問題ありませんが、Googleの順位を上げるための施策としては根拠がありません。

Google検索やAIによる概要などを意識するなら、まず有用で独自性のある本文、Googlebotがアクセスできる構造、適切な内部リンク、画像やページの使いやすさなど、通常の検索品質を確保する方が優先です。記事をMarkdownへ機械的に変換するだけで優遇されるという保証もありません。

robots.txt、Google-Extended、OAI-SearchBot、GPTBotは役割が異なる

サイト運営者が混同しやすいのが、サイト案内のファイルと、自動アクセスやAIへの利用を制御する仕組みです。大まかな役割を分けると次のようになります。

  • llms.txt:AIエージェントが参照する文書の入口を示す提案。アクセス許可や学習禁止の指示として使うものではない。
  • robots.txt:対象となるクローラーに、サイト上のどのURLを取得してよいかを伝える仕組み。ログイン認証や秘密情報の保護策の代わりにはならない。
  • Googlebot:Google検索のクロールに用いるクローラー。Googleの検索・画像などの機能に関係する。
  • Google-Extended:Googleが公開している別の制御用トークン。Geminiモデルの学習や一部のグラウンディング用途について利用方針を伝えるもので、Google検索の登録・ランキングの制御とは別。
  • OAI-SearchBot:OpenAIのChatGPT検索でコンテンツを発見し、引用・リンクするための検索用クローラー。
  • GPTBot:OpenAIが将来のモデル学習用コンテンツの取得に用いるクローラー。検索用のOAI-SearchBotとは役割が異なる。

Googleの公式クローラー一覧は、Google-ExtendedがGoogle検索の登録やランキングに影響しないと説明しています。OpenAIの「パブリッシャーと開発者 FAQ」も、ChatGPT検索での発見に関わるOAI-SearchBotと、学習用途に関わるGPTBotを別々に説明しています。

ChatGPT検索に表示したい場合、何を確かめるか

OpenAIは、公開サイトがChatGPT検索に表示される可能性があることを説明し、コンテンツの取得と引用を望むならOAI-SearchBotをブロックしていないか確認するよう案内しています。ただし、アクセスを許可すれば必ず引用されるわけではありません。記事自体の関連性や利用条件などによります。

また、AI検索経由のアクセスについては、OpenAIのFAQではChatGPTの参照URLにutm_source=chatgpt.comが付くと説明されています。GA4などで流入の傾向を見る手掛かりになりますが、チャット画面内で参照されただけの回数や、読者が内容を理解したかまでは、その流入数から分かりません。

ウェブページを検索結果から外したい場合にも注意が必要です。OpenAIのFAQはnoindexを案内する一方、クローラーがその指定を読むには、ページへアクセスできることが必要と説明しています。robots.txtで取得を禁止することと、noindexの指定が読まれることは同じではありません。特に既存記事の一括変更では、検索流入への影響を事前に検証する必要があります。

BtoBサイトでは、何を先に実施するべきか

llms.txtの作成は、情報を整理する方法の一つにはなります。ただし、運営に追加する前に本当の問題を区別した方が判断しやすくなります。

  • Google検索で見つからない:Search Consoleのインデックス状態、正規URL、クロール、ページの品質や検索意図を先に確認する。llms.txtで代用しない。
  • ChatGPT検索から来てほしい:OAI-SearchBotのアクセス可否、引用してほしい公開ページの説明とリンク構造、参照トラフィックの計測方法を確認する。
  • AI学習への利用を判断したい:検索で見つけられることと学習用途を分け、Google-ExtendedやGPTBotなど対象サービスの公式ルールと更新日を確認する。
  • AIエージェントに技術資料を読ませたい:既存のドキュメント構造に問題があるか、llms.txtで入口を整理する価値があるか、実際に使うクライアントがそのファイルを利用するかを小さく検証する。
  • 個人情報や機密を守りたい:ファイル名やクローラーの遵守を前提とせず、認証、アクセス制御、非公開設定など本来の安全策を優先する。

例えば数千記事ある知識メディアの場合、原典が確認されている記事と要検証の名言を混ぜたままllms.txtへ大量に列挙すると、誤った情報を探しやすくするおそれがあります。必要性を検討するとしても、品質確認済みのハブや読者向け索引を先に整える方が自然です。

効果を検証するなら「ファイルの公開」と「成果」を分ける

新しい取り組みの効果を測るなら、作成前に対象とするAIエージェントやページを定め、使われるかどうかを調べます。単にllms.txtが表示できたことは成功ではありません。意図するエージェントが参照し、適切なページを見つけられるかを再現可能なテストで確かめます。

Google検索の表示や順位については、Google自身がllms.txtの直接効果を否定しているため、検索表示が増減しても「llms.txtのおかげ」と解釈しません。AI検索の訪問や問い合わせについても、季節変動やほかの施策を考慮します。SEOの効果検証については「ゼロクリック・AI検索時代のBtoB SEO」、検索の急減診断は「Search Consoleで原因を切り分ける48時間診断」で解説しています。

まとめ:AI向けファイルを増やす前に、目的と読者価値を決める

llms.txtは、AIエージェントへ重要な文書の道筋を示す任意の提案です。Google検索の順位を上げる仕組みでも、クローラーのアクセス許可やAI学習の可否を一括管理する仕組みでもありません。検索、学習、閲覧支援は対象のシステムと権限が違います。

最初に検討すべきなのは、「どのAIに、どの情報を、どの目的で利用してほしいか」です。そのうえで、検索クローラーの設定、読みやすい公開記事、必要ならドキュメントへの案内ファイルを分けて設計しましょう。

公式資料・確認範囲

・Jeremy Howard「The /llms.txt file, v2」:仕様の提案、想定用途と構造(2026年8月10日改訂)。

・Google「生成AI機能向け最適化ガイド」、2026年6月15日の更新履歴:Google検索はllms.txtを使用せず、順位にも影響しないという説明。

・Google「一般的なクローラーの一覧」:Googlebot、Google-Extendedの対象製品と制御範囲。

・OpenAI「パブリッシャーと開発者 FAQ」:OAI-SearchBot、GPTBot、ChatGPT検索の流入把握とnoindexの注意。

確認範囲:この記事は2026年10月時点の公開仕様に基づく一般的な設計・判断ガイドです。個別サイトのrobots.txtやllms.txtを実際に変更・検証した結果ではありません。サービス側の仕様やクローラーの遵守状況は変わり得るため、導入時は最新の公式情報を確認してください。

次の問いを探す

言葉・人物・作品・仕事など、気になるキーワードからほかの記事へ。

分野から読む: 名言・思想 / BtoBマーケティング / キャリア・仕事

記事の記述・出典に誤りや疑問点がありましたら、お問い合わせから該当記事のURLと確認できる資料をお知らせください。内容を照合し、必要に応じて訂正します。

編集方針と運営者について →