AIの目標や振る舞いを、人間の意図や価値観と「揃える」ための研究・技術のこと。賢いAIを、良いAIにするための安全工学。
AIは指示を字義どおりに最適化する天才なので、「テストで高得点を取れ」と言えばカンニングも辞さない、という問題が本質にあります。危険な依頼を断る、ウソをつかない、人間の意図の「行間」を汲む——こうした調整全般がアライメントです。RLHFはその代表的な手段のひとつ。
AIが強力になるほど「ズレたまま賢い」ことのリスクは大きくなるため、AGIを目指す企業ほどアライメント研究に投資しています。Anthropicの「憲法AI」のように、AIに行動原則を明文化して守らせるアプローチも生まれています。しつけのないまま天才に育てない、というのが業界の合言葉です。
アライメントが目的（AIの振る舞いを人間の意図に揃える）、RLHFはその代表的な手段のひとつ、という関係です。
AIが強力になるほど「ズレたまま賢い」ことの被害が大きくなるからです。字義どおりに願いを叶える魔神に事故らない願い方ができるか、当ページの扉で試せます。
用語を覚えるより、ストーリーで体感するほうが早い。