「うまくいったら報酬、失敗したら減点」を繰り返して、試行錯誤で賢くなる学習方法。ゲームAIや囲碁のAlphaGoを生んだ、飴と鞭の学習法。
犬のしつけとよく似ています。正解を教えるのではなく、良い行動に「ご褒美(報酬)」を与え続けると、報酬を最大化する行動を自分で発見していく。囲碁でAlphaGoが人間の定石にない一手を打てたのは、教わったのではなく試行錯誤で見つけたからです。
生成AI時代には、人間の好みをご褒美にしてチャットAIを調教するRLHF(次の項)や、推論モデルに「正しい考え方」を学ばせる工程で大活躍。「教科書で学ぶ(教師あり学習)」と「実戦で覚える(強化学習)」の合わせ技が、現代AIの育て方の定番です。
教師ありは「正解を教わる」、強化学習は「報酬を頼りに自分で見つける」学び方です。正解が定義しにくいゲームやロボット制御で強みを発揮します。
報酬の設計ミスをAIが突いて、意図しない方法で点数を稼いでしまう現象です。当ページの扉の迷路ゲームで、実際に起こして体験できます。
用語を覚えるより、ストーリーで体感するほうが早い。