LoRA

この技術を一言で説明すると

大きなモデルの重みを固定し、小さな追加行列だけを学習する方法です。分厚い本全体を書き直す代わりに、用途別の追補を付けるイメージです。

なぜこの技術が必要なのか

全パラメータの追加学習には、重みだけでなく勾配や最適化器の状態を保持するメモリが必要です。用途ごとに全モデルを保存する負担も大きくなります。

従来は何が問題だったのか

全重みのFine-tuningでは、更新すべき情報が限られていても巨大なパラメータ集合を扱います。LoRAは、適応に必要な重みの変化を低ランク行列で表すという仮定を使います。

技術の仕組み

元の重み W を固定し、低ランク行列 A と B の積を足します。

W' = W + (α/r)BA

W が d×k、B が d×r、A が r×k なら、追加する学習対象は r(d+k) 個です。rを小さくすると対象パラメータは減りますが、十分な表現力を保てるかはタスクごとに検証します。

具体的な使用例

業務ごとの文章形式を学習し、同じ基盤モデルに異なるアダプターを対応させる設計です。学習例が少なすぎる場合は、パラメータ数を減らしても過学習は起こり得ます。

類似技術との違い

メリット・デメリット

原論文では学習パラメータとメモリを削減し、対応する線形層に差分をマージできる点を示しています。一方、すべてのモデル・精度形式で同じ効果や速度になるとは限りません。基盤モデルの版を取り違えるとアダプターの再現性も失われます。

実装方法

対象層、ランク、スケーリング、学習率を設定し、基盤重みが固定されていることを確認します。アダプター単体の保存に加え、基盤モデルID、リビジョン、トークナイザー、テンプレートも記録します。推論時のマージ前後で出力品質を比較します。

最新動向

QLoRA論文は、量子化して固定した基盤モデルへLoRAを組み合わせる方向を示しました。学習対象を減らすことと、基盤重みの保存精度を下げることは別の工夫です。