AIクローラーとは？

AI企業がWeb上の情報を収集するための巡回プログラム。学習データ収集用とAI検索の回答生成用があり、サイト運営者は受け入れ可否をrobots.txtなどで意思表示できる。

GooglebotがWebを巡回して検索インデックスを作るように、AI企業のクローラー（GPTBot、ClaudeBotなど）もWebを巡回しています。目的は大きく2つ——モデルの学習用データの収集と、AI検索がリアルタイムに回答の根拠を取りに来るアクセスです。

サイト運営者には新しい経営判断が生まれました。学習収集は拒否しつつAI検索の参照は歓迎する、といった選別をrobots.txtで意思表示できます。「米国からの謎のアクセス増」の正体が実はAIクローラーだった、というのはアクセス解析あるあるです。AI検索経由の読者を迎えたいなら、llms.txt整備とセットで考える論点です。