COMIXAI吉川 聡史
しくみ・技術きょうかがくしゅうReinforcement Learning

強化学習とは?

DEFINITION — ひとことで言うと

「うまくいったら報酬、失敗したら減点」を繰り返して、試行錯誤で賢くなる学習方法。ゲームAIや囲碁のAlphaGoを生んだ、飴と鞭の学習法。

DIAGRAM — 図解
強化学習の図解AIやってみる行動環境ゲーム・現実報酬(うまくいったらご褒美)試行錯誤の果てに、人間が教えていない一手を見つけることも
正解を教えず、ご褒美で行動を磨いていく

犬のしつけとよく似ています。正解を教えるのではなく、良い行動に「ご褒美(報酬)」を与え続けると、報酬を最大化する行動を自分で発見していく。囲碁でAlphaGoが人間の定石にない一手を打てたのは、教わったのではなく試行錯誤で見つけたからです。

生成AI時代には、人間の好みをご褒美にしてチャットAIを調教するRLHF(次の項)や、推論モデルに「正しい考え方」を学ばせる工程で大活躍。「教科書で学ぶ(教師あり学習)」と「実戦で覚える(強化学習)」の合わせ技が、現代AIの育て方の定番です。

用語を覚えるより、ストーリーで体感するほうが早い。