AI企業がWeb上の情報を収集するための巡回プログラム。学習データ収集用とAI検索の回答生成用があり、サイト運営者は受け入れ可否をrobots.txtなどで意思表示できる。
GooglebotがWebを巡回して検索インデックスを作るように、AI企業のクローラー（GPTBot、ClaudeBotなど）もWebを巡回しています。目的は大きく2つ——モデルの学習用データの収集と、AI検索がリアルタイムに回答の根拠を取りに来るアクセスです。
サイト運営者には新しい経営判断が生まれました。学習収集は拒否しつつAI検索の参照は歓迎する、といった選別をrobots.txtで意思表示できます。「米国からの謎のアクセス増」の正体が実はAIクローラーだった、というのはアクセス解析あるあるです。AI検索経由の読者を迎えたいなら、llms.txt整備とセットで考える論点です。
長らく悩ましかったのが「検索結果には載りたいが、AIの学習には使われたくない」という場合の扱いです。Google・Microsoft・Appleのクローラーは、検索用のインデックス作りとAI学習に使いうる収集を兼ねていたため、robots.txtでまるごと断ると検索結果からも消えてしまう——事実上の二者択一でした。2026年9月、Cloudflareが「AI学習の不許可（Disallow AI Training）」という設定を公開し、この状況が動きます。有効にすると、robots.txtにGoogleの「Google-Extended」とAppleの「Applebot-Extended」を拒否する記述が自動で加わります。この2つはAI学習向けに用意された名前で、両社とも、拒否しても検索の掲載や順位には影響しないと説明しています。
ただし2026年9月時点では穴もあります。MicrosoftのBingはrobots.txtでの学習拒否への対応を2027年初頭を目標としている段階で、それまではページ側でNOARCHIVEを指定する方法が案内されています。一方、OpenAI・Anthropic・Meta・Amazonはもともと検索用と学習用のクローラーを分けているため、学習用の名前だけを拒否すれば済みます。実務としては「全部ブロックか全部許可か」で考えるのをやめ、相手ごとに分けて意思表示するのが2026年後半の作法です。Cloudflareを使っていないサイトでも、robots.txtに同じ記述を自分で書けば、意思表示は同じように伝わります。
上の節では、robots.txtでクローラーごとに意思表示する方法を書きました。ただしこれは「巡回してくる機械に向けた意思表示」であって、契約の話ではありません。そこが表に出たのが2026年10月のMetaの件です。同社が10月30日に発効予定としていた事業者向けの規約に、集めた内容の使い道として「学習」が挙げられており、報道機関などから批判が出ました。Metaは10月16日ごろにこの語を削除し、用途を広告とビジネス製品に限る形へ改めています。同社の担当者は、この規定はもともと広告とビジネス製品にだけ適用されるものだったと説明しました。
もっとも、これで片がついたとは見られていません。専門家からは「開発」という語が残っていること、「あなたの製品やサービスに関連する」という広い書き方が残っていることが指摘されています。報道では、一部の言語版の規約に元の記述が残っていたとも伝えられました。Meta側はサイト運営者がrobots.txtで希望を示せる状態は続くとしていますが、改訂後の規約がrobots.txtに従うことを明文で義務づけてはいない、という指摘もあります。
実務として覚えておきたいのは、断り方に2つの層があることです。robots.txtは機械への意思表示、利用規約は契約としての取り決め。自社のサイトが大手サービスの事業者向けアカウントに紐づいているなら、robots.txtの設定だけでなく、規約の改定通知にも目を通しておく——これが2026年後半に増えた確認事項です。
GoogleとAppleについては、AI学習向けの名前（Google-Extended、Applebot-Extended）を拒否しても検索の掲載や順位には影響しないと両社が説明しています。MicrosoftのBingはrobots.txtでの学習拒否への対応を2027年初頭を目標としている段階で、2026年9月時点ではページ側のNOARCHIVE指定が案内されています。
断れます。Cloudflareの「AI学習の不許可」は、robots.txtへの記述を代わりに書き込んでくれる設定です。自分でrobots.txtにAI学習向けクローラーを拒否する記述を書けば、同じ意思表示になります。
足りないことがあります。robots.txtは巡回してくる機械への意思表示で、契約とは別の層だからです。大手サービスの事業者向けアカウントにサイトが紐づいている場合、その規約の側で収集や利用が認められていることがあります。2026年10月にはMetaの事業者向け規約が実際に論点になりました。robots.txtの設定と、使っているサービスの規約改定の両方を見るのが安全です。
用語を覚えるより、ストーリーで体感するほうが早い。