SFT

この技術を一言で説明すると

質問と望ましい回答の組を使い、学習済みモデルの答え方を調整する方法です。先生の模範解答を見ながら練習することに相当します。

なぜこの技術が必要なのか

次の単語を予測する事前学習だけでは、質問への直接的な回答や指定形式の出力が安定するとは限りません。SFTは、何を「よい回答の例」として学ばせるかを明示できます。InstructGPT論文では、人が書いた回答例による教師あり学習を用いています。

従来は何が問題だったのか

汎用モデルに指示を与えるだけでは、続きを書く動作と質問に答える動作が混ざることがあります。プロンプトで改善できる場合もありますが、毎回長い見本を渡す設計には入力長の制約があります。

技術の仕組み

入力 x と模範回答 y に対し、回答の各トークンに与える確率を高めます。代表的な目的関数は次の負の対数尤度です。

L = −Σ_t log pθ(y_t | x, y_<t)

入力部分を損失に含めるか、回答部分だけを対象にするかは学習設計に依存します。チャット形式の区切りや終了トークンも整合させる必要があります。

具体的な使用例

問い合わせと承認済み回答の組から、社内の回答形式を学ばせる用途が考えられます。例は編集上の設計例であり、特定企業の導入実績ではありません。学習データと評価データは分け、未見の問い合わせでも形式と内容が正しいか調べます。

類似技術との違い

メリット・デメリット

学習目標が明確で、入力と回答の品質を点検しやすい点が利点です。一方、模範回答の誤りや偏りも学習します。SFTだけで知識の正確さや未知の問題への推論能力が保証されるわけではありません。

実装方法

まず少量の検証済みデータで、学習前後の固定評価を比較します。重複除去、個人情報の除去、回答の損失マスク、最大系列長を確認します。全重みの更新が難しい場合はLoRAを併用できます。評価に使った問題を学習に戻すと改善を過大評価するため、別の評価集合を維持します。

最新動向

今回確認したInstructGPT論文では、SFTの後に人の比較データを使う工程が示されています。これは学習段階を整理する基礎資料であり、2026年の新手法という意味ではありません。