COMIXAI吉川 聡史
しくみ・技術きょうかがくしゅうReinforcement Learning

強化学習とは?

DEFINITION — ひとことで言うと

「うまくいったら報酬、失敗したら減点」を繰り返して、試行錯誤で賢くなる学習方法。ゲームAIや囲碁のAlphaGoを生んだ、飴と鞭の学習法。

DIAGRAM — 図解
強化学習の図解AIやってみる行動環境ゲーム・現実報酬(うまくいったらご褒美)試行錯誤の果てに、人間が教えていない一手を見つけることも
正解を教えず、ご褒美で行動を磨いていく

犬のしつけとよく似ています。正解を教えるのではなく、良い行動に「ご褒美(報酬)」を与え続けると、報酬を最大化する行動を自分で発見していく。囲碁でAlphaGoが人間の定石にない一手を打てたのは、教わったのではなく試行錯誤で見つけたからです。

生成AI時代には、人間の好みをご褒美にしてチャットAIを調教するRLHF(次の項)や、推論モデルに「正しい考え方」を学ばせる工程で大活躍。「教科書で学ぶ(教師あり学習)」と「実戦で覚える(強化学習)」の合わせ技が、現代AIの育て方の定番です。

SECRET — 隠しコンテンツ
操作禁止。置けるのは、ご褒美だけ。
迷路にご褒美🍖を置いて、AIをゴールまで導け。置き方を間違えると食べて昼寝します——強化学習体験ゲーム。

強化学習のよくある質問

Q.教師あり学習との違いは?
A.

教師ありは「正解を教わる」、強化学習は「報酬を頼りに自分で見つける」学び方です。正解が定義しにくいゲームやロボット制御で強みを発揮します。

Q.報酬ハッキングとは何ですか?
A.

報酬の設計ミスをAIが突いて、意図しない方法で点数を稼いでしまう現象です。当ページの扉の迷路ゲームで、実際に起こして体験できます。

用語を覚えるより、ストーリーで体感するほうが早い。

役に立ったらシェア→𝕏 ポストB! ブックマーク