RLHFとは？

「人間のフィードバックによる強化学習」。AIの複数の答えに人間が好みの順位を付け、それをご褒美として学ばせる手法。ChatGPTを「感じのいいAI」にした立役者。

素の言語モデルは博識ですが、乱暴な言い方も平気でします。そこで人間の評価者に「答えAとB、どっちが良い？」を大量に judgeしてもらい、人間好みの答えに報酬を与えて調教する——これがRLHFです。GPTがChatGPTとして大ブレイクできた影の主役と言われます。

副作用もあって、人間に好かれようとするあまり「お世辞が多い」「自信満々に間違える」傾向が生まれるという研究も。AIの妙に丁寧な相づちはRLHFの産物です。飼い主に似るのは犬もAIも同じ、ということかもしれません。