RLHF

この技術を一言で説明すると

人の評価を手がかりに、モデルの回答の仕方を調整する学習の枠組みです。RLHFは単一のアルゴリズム名ではありません。

なぜこの技術が必要なのか

同じ質問でも、正しい答えが複数あり、丁寧さや役立ち方も異なります。その違いをすべて一つの模範回答で表すのは難しいため、回答同士を比較した人の判断を使います。

従来は何が問題だったのか

次のトークンの予測精度を上げても、有用な回答になるとは限りません。InstructGPT論文は、言語モデルの学習目標とユーザーの意図のずれを扱っています。

技術の仕組み

代表的な工程では、まずSFTで指示に従うモデルを作り、複数の回答を人が順位付けします。その比較を予測する報酬モデルを学習し、報酬が高くなるよう方策を更新します。InstructGPTではPPOを使用します。

報酬だけを追求して元のモデルから大きく変わることを抑えるため、参照モデルとの差を制約します。報酬モデルは人間の判断の近似なので、高得点と実際の有用性は同じではありません。

具体的な使用例

文章要約で、必要な情報を保ちつつ読みやすい回答を好む比較データを作る、といった用途です。評価者間で判断が割れた場合の扱いも事前に決めます。

類似技術との違い

メリット・デメリット

人の判断を学習に反映できる一方、評価者の好みが偏ればモデルにも偏りが入ります。人が「もっともらしい」と感じる回答が事実として正しいとは限りません。学習報酬とは独立した品質・安全性の評価が必要です。

実装方法

評価基準、比較データ、報酬モデルの評価、方策の評価を分けて管理します。費用はラベル付けとモデル学習の両方に発生し、固定額では示せません。最初は既存のSFTモデルと小さな比較データで、DPOを含む簡単な方式と比較します。

最新動向

DPO論文は、明示的な報酬モデル学習とオンラインの生成を伴う工程を簡略化する方向を示しました。「RLHFなら必ずPPO」と考えず、フィードバックの由来と最適化方式を分けて読むことが大切です。