学習済みのAIが、実際に答えを出す工程のこと。AIの活動は「学習(訓練)」と「推論(本番)」の2つに分かれ、私たちが使っているのはいつも推論のほう。
受験勉強が「学習」なら、試験本番が「推論」です。ChatGPTに質問して答えが返ってくるとき、AIは新しく何かを学んでいるわけではなく、学習済みの知識を使って次の単語を予測し続けています。「AIと話すと賢くなっていく」と誤解されがちですが、会話でモデル自体は変わりません。
ビジネスの文脈では推論コスト(1回答えるのにかかる計算費用)が重要ワード。AIサービスの料金はほぼこれで決まります。ちなみに、答える前にじっくり考える「推論モデル」(reasoning model)は同じ漢字ですが別の話——あちらは推論工程で長く考える設計のモデルを指します。
用語を覚えるより、ストーリーで体感するほうが早い。