DPO

この技術を一言で説明すると

同じ質問に対する「好ましい回答」と「好ましくない回答」のペアから、モデルを直接調整する方法です。

なぜこの技術が必要なのか

人の好みに合わせたい一方で、報酬モデルの学習と強化学習のループを別々に用意するのは複雑です。DPOは、選好最適化の問題を比較的簡潔な学習目標に変換します。

従来は何が問題だったのか

代表的なPPOベースのRLHFでは、報酬モデル、回答生成、価値推定、方策更新など複数の工程を管理します。それぞれの誤差や設定が学習結果に影響します。

技術の仕組み

選ばれた回答を y+、選ばれなかった回答を y− とします。学習中のモデルと参照モデルの対数確率の差を、回答ペアの間で比較します。

Δ = log(πθ(y+|x)/πref(y+|x)) − log(πθ(y−|x)/πref(y−|x))

L = −log sigmoid(βΔ)

βは参照モデルからの変化を調整する係数です。この式は標準的なDPOの説明で、派生実装には異なる損失もあります。

具体的な使用例

同じ文書の要約候補を比較し、重要事項の抜けが少ない回答を選んで学習させる用途があります。ペアは同じ入力に対応する必要があり、無関係な質問の回答を比較しません。

類似技術との違い

メリット・デメリット

原論文のDPOは学習中のオンライン回答生成と独立した報酬モデルを不要にします。一方、用意したペアが現場の入力を代表しなければ改善が一般化しません。短い回答だけが好まれるなどの交絡にも注意します。

実装方法

入力・chosen・rejectedを一組として保存します。比較理由も別途記録するとレビューしやすくなります。参照モデル、チャットテンプレート、長さ制限を固定し、学習用の選好精度とは別に実務タスクで評価します。

最新動向

DeepSeekMathのGRPOと比較すると、固定ペアによる調整と、学習中に生成した回答への報酬による調整の違いが見えます。本記事は原論文ベースの整理で、派生手法すべての優劣を主張するものではありません。