ファインチューニングとRLHFの違いとは？
ファインチューニングは「お手本で教える研修」、RLHFは「良し悪しをご褒美で教えるしつけ」。広い意味ではRLHFも追加調整の一種ですが、正解の見本をなぞらせるのか、人間の好みを報酬として学ばせるのかが根本の違いです。
ファインチューニングは、学習済みのモデルに「入力と理想の答え」のペアを数百〜数千件なぞらせて、特定の用途や文体・形式に合わせる手法です。ブランド独自の文体を一貫させる、決まったフォーマットの出力を安定させる——そんな狙った振る舞いを体に染み込ませます。LoRAのような軽量な手法を使えば、利用する側の企業や個人でも手が届きます。
RLHF（人間のフィードバックによる強化学習）は、AIが出した複数の答えに人間が「どちらが良いか」の順位を付け、それを報酬として学ばせる手法です。素の言語モデルを「感じのいいAI」に変えた立役者で、ChatGPTの大ブレイクの影の主役と言われます。実際のモデル開発では「お手本で教える工程→人間の好みで磨く工程（RLHF）」と段階を踏んで併用されるので、2つは対立ではなく、教え方と役割の違いです。
ファインチューニングとRLHFの比較表
| ファインチューニング | RLHF | |
|---|---|---|
| 教え方 | お手本（入力と理想の答えのペア）をなぞらせる | 答えの良し悪しに人間が順位を付け、報酬で寄せる |
| たとえるなら | 研修（お手本で覚える） | しつけ（ご褒美で覚える） |
| 変えるもの | 文体・形式・専門の作法など狙った振る舞い | 「感じのよさ」など人の好みに合う答え方全般 |
| 主にやる人 | 利用する企業や個人でも可能（LoRAなど） | 主にモデルの開発元（出荷前の工程） |
| 必要なもの | 質の良いお手本を数百〜数千件 | 人間の評価者による大量の「どちらが良いか」判定 |
| 弱点・副作用 | お手本の偏りがそのまま癖になる | お世辞が増える・自信満々に間違える（追従性） |
どっちを使う？（使い分けの指針）
読者の実務で「自分ごと」になるのはファインチューニングのほうです。自社の文体や出力形式をAIに覚えさせたいとき、毎回プロンプトで指示すれば済むことを指示なしでもできるようにする投資として検討します。成否を分けるのは技術よりデータ準備で、着手前の関門は「そのお手本、社内にありますか？」の一問です。一方RLHFは、普段使いでは「やる」ものではなく「性質を知っておく」もの。大量の人間の評価と強化学習の仕組みが要るため、基本はモデル開発元の出荷前工程です。
ニュースを読み分ける軸は「何で教えたか」です。「自社データで追加学習」とあればお手本方式のファインチューニング系、「人間のフィードバックで調整」とあればRLHF系（最近はDPOなどの派生手法も増えています）。そして教え方の違いは、そのままAIの癖の違いになります。お手本の偏りはファインチューニングの癖に、人間に好かれたい学習はお世辞や過剰な相づちに——AIの返事が妙に丁寧なのはRLHFの産物です。癖の出どころを知っておくと、AIの答えとの距離の取り方がうまくなります。
よくある質問
広い意味では一種です。どちらも学習済みモデルへの追加調整で、開発の現場では「お手本で教える工程（教師ありファインチューニング）→人間の好みで磨く工程（RLHF）」と段階で併用されます。呼び分けるときは、お手本をなぞらせるのか、良し悪しの評価を報酬にするのかという教え方で区別するのが実務的です。
基本的には現実的ではありません。大量の人間の評価データと強化学習の仕組みが必要で、主にモデル開発元が出荷前に行う工程だからです。企業が自社向けにAIを調整したい場合は、お手本方式のファインチューニング（LoRAなどの軽量手法）か、そもそも学習を伴わないRAGやプロンプトの工夫から検討するのが定石です。
人間に好かれる答えに寄っていくため、お世辞が増えたり、自信満々に間違えたりする傾向（追従性）が研究で指摘されています。AIの妙に丁寧な相づちや過剰な同意はこの産物です。大事な判断では、AIの同意を根拠にせず事実を確認する習慣が効きます。