推論高速化・量子化
vLLM
LLMの生成要求をまとめて効率よく処理する、オープンソースの推論・配信ライブラリです。
注目理由 KVキャッシュ管理とバッチ処理を含め、モデルを複数利用者へ配信する仕組みを学べます。
LLM TECHNOLOGY ATLAS
ニュースの先にある、技術の仕組みを。一次情報を確認した解説から、似た技術との違いや実装の考え方をたどれます。
「注目理由」は編集上の選定理由です。注目度の数値や人気順位ではありません。発表日と最終確認日を分け、未確認の候補は掲載しません。
12件の技術
推論高速化・量子化
LLMの生成要求をまとめて効率よく処理する、オープンソースの推論・配信ライブラリです。
注目理由 KVキャッシュ管理とバッチ処理を含め、モデルを複数利用者へ配信する仕組みを学べます。
モデル学習・Fine-tuning
質問と望ましい回答の組を使い、学習済みモデルの答え方を調整する方法です。先生の模範解答を見ながら練習することに相当します。
注目理由 指示に従う回答の学習と、その後の選好最適化を理解する出発点です。
強化学習・Reasoning
人の評価を手がかりに、モデルの回答の仕方を調整する学習の枠組みです。RLHFは単一のアルゴリズム名ではありません。
注目理由 回答の正解だけでなく、人が望む振る舞いをどう学習信号にするかを考える基礎です。
RAG・検索技術
必要な資料を検索し、その内容を手がかりにモデルが回答する仕組みです。試験で資料を参照できるようにするイメージです。
注目理由 モデル内の知識と外部情報を分けて扱い、回答の根拠や情報更新を設計する基礎です。
モデル学習・Fine-tuning
小さなビット数で保存した基盤モデルを固定し、LoRA部分だけを学習する方法です。
注目理由 基盤重みの量子化と低ランク適応を組み合わせ、学習時のメモリ制約に対応する手法です。
AIエージェント
AIアプリが外部の情報やツールへ接続するための共通の取り決めです。モデルそのものの学習手法ではありません。
注目理由 AIアプリと外部のツール・情報源の接続を、共通のプロトコルとして整理できます。
モデル学習・Fine-tuning
大きなモデルの重みを固定し、小さな追加行列だけを学習する方法です。分厚い本全体を書き直す代わりに、用途別の追補を付けるイメージです。
注目理由 モデル全体を更新せずに用途へ適応させる、パラメータ効率のよい学習の基礎です。
強化学習・Reasoning
同じ問題に対して複数の答えを生成し、そのグループの中で相対的によい答えを増やす強化学習の方法です。
注目理由 DeepSeekMathが提案した、回答群の相対的な報酬を使う学習を理解するための技術です。
推論高速化・量子化
GPUのメモリ間でデータを動かす回数を減らし、Attentionを効率よく計算する方法です。
注目理由 Attentionの高速化を、計算量だけでなくGPUメモリとのデータ移動から理解できます。
モデル学習・Fine-tuning
同じ質問に対する「好ましい回答」と「好ましくない回答」のペアから、モデルを直接調整する方法です。
注目理由 選好データを使う学習を、明示的な報酬モデルなしで構成する代表的手法です。
AI開発の概念・手法
モデルが回答や行動を決める時点で、どの情報を渡すかを継続的に設計することです。単一の規格や学習アルゴリズムではありません。
注目理由 長いエージェント作業で、指示・履歴・ツール結果をどう選び直すかを考える実装上の観点です。
AIエージェント
目標と実行結果を見ながら、モデルが次の行動やツールを選んで作業を進めるシステムです。「エージェント」の定義には幅があり、本記事はAnthropicの設計上の区別を採用します。
注目理由 モデルがツールを使って作業を続ける設計を、固定ワークフローと区別して理解できます。
条件に一致する技術はありません。キーワードやカテゴリを変えてみてください。