ハルシネーションとは？

AIが事実と異なる内容を、もっともらしく生成してしまう現象。「幻覚」の意。存在しない出典や数字を自信満々に答えることもあるため、事実確認が欠かせない。

LLMは「正しい情報を検索して答える」のではなく「自然な言葉の続きを予測する」仕組みなので、知らないことでも、それらしい答えを作ってしまうことがあります。これがハルシネーションです。

対策の基本は、①事実・数字・出典は必ず人間が確認する、②RAGなどで根拠となる資料を渡してから答えさせる、③「わからない場合はわからないと答えて」と指示する、の3つ。AIの答えを鵜呑みにしない運用ルールが、AI活用の信頼性を支えます。