GRPO

この技術を一言で説明すると

同じ問題に対して複数の答えを生成し、そのグループの中で相対的によい答えを増やす強化学習の方法です。

なぜこの技術が必要なのか

数学やコードのように採点しやすい課題では、モデルが生成した回答を評価しながら学習できます。GRPOは、その学習時の価値推定の持ち方を見直した手法です。

従来は何が問題だったのか

典型的なPPOでは、方策に加えて価値を予測するcriticを学習します。大規模モデルでは、その重みや学習状態の保持も負担になります。DeepSeekMathはメモリ効率も考慮してGRPOを提案しました。

技術の仕組み

一つの入力から複数の回答を生成し、それぞれの報酬を得ます。代表的なグループ正規化では、回答 i の報酬 r_i からグループ平均を引き、標準偏差で割った値を学習信号にします。

A_i = (r_i − mean(r)) / (std(r) + ε)

これは直感を示す式です。実際の目的関数には新旧方策の確率比、クリッピング、参照方策からの乖離を抑える項などがあります。回答がすべて同じ報酬の場合の扱いも重要です。

具体的な使用例

最終回答を検証できる数学問題で、複数の解答を生成して採点する学習です。ただし答えだけ合っていても推論過程が妥当とは限りません。採点器が誤るケースや、出力形式だけを攻略する回答も検査します。

類似技術との違い

メリット・デメリット

別のcriticを省く設計が利点ですが、生成コストまで消えるわけではありません。グループサイズ、回答の長さ、報酬のばらつきで効率が変わります。「PPOより常に安く高性能」という読み方はできません。

実装方法

まず採点器を単独で評価し、正解・誤答・形式違反への挙動を固定します。生成と学習の予算を分け、報酬だけでなく未見問題の正答率、出力長、失敗例を記録します。実装負担の中心は、損失式より生成・採点・学習の連携です。

最新動向

DeepSeek-R1論文は、検証可能な数学やコーディングなどの課題で強化学習による推論能力の改善を報告しています。RLVRは検証可能な報酬という設計、GRPOは方策最適化の方法であり、同義語ではありません。