QLoRA

この技術を一言で説明すると

小さなビット数で保存した基盤モデルを固定し、LoRA部分だけを学習する方法です。

なぜこの技術が必要なのか

LoRAで学習対象を減らしても、元の巨大なモデルをメモリに置く必要は残ります。QLoRAはその基盤重みの保存領域にも対処します。

従来は何が問題だったのか

学習するパラメータだけ数えても、必要なGPUメモリは見積もれません。基盤重み、活性値、勾配、最適化器、一時バッファを区別する必要があります。

技術の仕組み

原論文では4-bitのNF4形式、量子化定数をさらに量子化するdouble quantization、メモリの急増を扱うpaged optimizerを組み合わせます。基盤重みは固定し、計算時に必要な形へ復元してLoRAへ勾配を伝えます。

「4-bit学習」は、すべての演算・活性値・勾配が4-bitという意味ではありません。

具体的な使用例

手元のGPUでドメイン向けSFTを試すとき、全重み学習や通常のLoRAがメモリに収まらない場合の候補になります。収まるかどうかはモデルの規模だけでなく、系列長やバッチサイズにも依存します。

類似技術との違い

メリット・デメリット

原論文は省メモリ学習を実験で示していますが、そこでの性能を任意のモデルへ一般化はできません。量子化の誤差、ハードウェア対応、保存形式によって運用の難しさが変わります。アダプターのマージや再量子化後には品質を再評価します。

実装方法

学習基盤の量子化設定と計算dtypeを明示し、バックエンドが対象モデルを扱えるか確認します。最小バッチでメモリを測り、系列長を増やしながら評価します。特定GPUでの原論文の結果を、そのまま必要スペックの保証には使いません。

最新動向

原論文は性能だけでなく、チャットボットの評価方法の限界も議論しています。省メモリという技術上の利点と、選んだベンチマーク上の品質は分けて確認します。本稿は基礎手法の解説で、最新ライブラリの動作保証ではありません。