AIが事実と異なる内容を、もっともらしく生成してしまう現象。「幻覚」の意。存在しない出典や数字を自信満々に答えることもあるため、事実確認が欠かせない。
LLMは「正しい情報を検索して答える」のではなく「自然な言葉の続きを予測する」仕組みなので、知らないことでも、それらしい答えを作ってしまうことがあります。これがハルシネーションです。
対策の基本は、①事実・数字・出典は必ず人間が確認する、②RAGなどで根拠となる資料を渡してから答えさせる、③「わからない場合はわからないと答えて」と指示する、の3つ。AIの答えを鵜呑みにしない運用ルールが、AI活用の信頼性を支えます。
LLMは辞書や検索エンジンではなく「ありそうな言葉の続き」を予測する装置だからです。「存在しない判例を教えて」と聞かれても、判例っぽい文章のパターンは学習済みなので、それらしいものを組み立ててしまう。ウソをつく意図はなく、本人(AI)には正解と作り話の区別がついていません。
厄介なのは、間違いほど流暢で自信満々に見えることです。人間なら口ごもる場面でもAIはスラスラ答えるため、「自信がありそう=正しそう」という人間の直感が通用しません。
海外では、弁護士がChatGPTで判例を調べて訴訟資料に使ったところ、引用した判例がすべて実在しないものだった——という事件が実際に起きて制裁を受けました。存在しない論文の引用、実在しない機能の説明、間違った健康情報など、業種を問わず同種の事故は報告されています。
共通するのは「確認せずにそのまま使った」こと。ハルシネーション自体は仕組み上避けられないため、事故になるかどうかは使う側の運用で決まります。
①事実・数字・固有名詞・出典は人間が原典で確認する(これが大前提)。②RAGなどで根拠資料を渡し、「この資料にもとづいて」と縛る。③「わからない場合は『わからない』と答えて」と指示に入れる。④検索機能つきのAI(出典リンクを出すもの)を使い、リンク先を実際に開く。⑤重要な内容は複数のAIや別ソースで突き合わせる。
全部やる必要はなく、用途のリスクに応じて段階を選べば十分です。社内のブレストなら①だけ、社外に出す資料なら①〜④、というように「間違えたときの被害の大きさ」で確認の濃さを決めるのが実務的です。
モデルの進化で頻度は下がっていますが、「予測で文章を作る」仕組み上ゼロにはなりません。各社も「わからないと言う」訓練を強化していますが、事実確認が不要になる日は当面来ない前提で使うのが安全です。
「幻覚」と訳されます。実務では「AIのもっともらしい誤り」「事実と異なる生成」などと言い換えられることも多いです。
用語を覚えるより、ストーリーで体感するほうが早い。