Velvet Theory AIとデータの話を、やわらかく、筋道立てて。

LLM TECHNOLOGY ATLAS

AI技術トレンド・LLM技術用語図鑑

ニュースの先にある、技術の仕組みを。一次情報を確認した解説から、似た技術との違いや実装の考え方をたどれます。

「注目理由」は編集上の選定理由です。注目度の数値や人気順位ではありません。発表日と最終確認日を分け、未確認の候補は掲載しません。

技術一覧

12件の技術

推論高速化・量子化

vLLM

LLMの生成要求をまとめて効率よく処理する、オープンソースの推論・配信ライブラリです。

注目理由 KVキャッシュ管理とバッチ処理を含め、モデルを複数利用者へ配信する仕組みを学べます。

実装動向 · 確認

関連発表・実装:vLLM official repository

モデル学習・Fine-tuning

SFT

質問と望ましい回答の組を使い、学習済みモデルの答え方を調整する方法です。先生の模範解答を見ながら練習することに相当します。

注目理由 指示に従う回答の学習と、その後の選好最適化を理解する出発点です。

技術的重要性 · 確認

関連発表・実装:Training language models to follow instructions with human feedback

強化学習・Reasoning

RLHF

人の評価を手がかりに、モデルの回答の仕方を調整する学習の枠組みです。RLHFは単一のアルゴリズム名ではありません。

注目理由 回答の正解だけでなく、人が望む振る舞いをどう学習信号にするかを考える基礎です。

技術的重要性 · 確認

関連発表・実装:Training language models to follow instructions with human feedback

RAG・検索技術

RAG

必要な資料を検索し、その内容を手がかりにモデルが回答する仕組みです。試験で資料を参照できるようにするイメージです。

注目理由 モデル内の知識と外部情報を分けて扱い、回答の根拠や情報更新を設計する基礎です。

技術的重要性 · 確認

関連発表・実装:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

モデル学習・Fine-tuning

QLoRA

小さなビット数で保存した基盤モデルを固定し、LoRA部分だけを学習する方法です。

注目理由 基盤重みの量子化と低ランク適応を組み合わせ、学習時のメモリ制約に対応する手法です。

技術的重要性 · 確認

関連発表・実装:QLoRA

AIエージェント

MCP

AIアプリが外部の情報やツールへ接続するための共通の取り決めです。モデルそのものの学習手法ではありません。

注目理由 AIアプリと外部のツール・情報源の接続を、共通のプロトコルとして整理できます。

実装動向 · 確認

関連発表・実装:MCP architecture

モデル学習・Fine-tuning

LoRA

大きなモデルの重みを固定し、小さな追加行列だけを学習する方法です。分厚い本全体を書き直す代わりに、用途別の追補を付けるイメージです。

注目理由 モデル全体を更新せずに用途へ適応させる、パラメータ効率のよい学習の基礎です。

技術的重要性 · 確認

関連発表・実装:LoRA

強化学習・Reasoning

GRPO

同じ問題に対して複数の答えを生成し、そのグループの中で相対的によい答えを増やす強化学習の方法です。

注目理由 DeepSeekMathが提案した、回答群の相対的な報酬を使う学習を理解するための技術です。

技術的重要性 · 確認

関連発表・実装:DeepSeekMath

推論高速化・量子化

FlashAttention

GPUのメモリ間でデータを動かす回数を減らし、Attentionを効率よく計算する方法です。

注目理由 Attentionの高速化を、計算量だけでなくGPUメモリとのデータ移動から理解できます。

技術的重要性 · 確認

関連発表・実装:FlashAttention

モデル学習・Fine-tuning

DPO

同じ質問に対する「好ましい回答」と「好ましくない回答」のペアから、モデルを直接調整する方法です。

注目理由 選好データを使う学習を、明示的な報酬モデルなしで構成する代表的手法です。

技術的重要性 · 確認

関連発表・実装:Direct Preference Optimization

AI開発の概念・手法

Context Engineering

モデルが回答や行動を決める時点で、どの情報を渡すかを継続的に設計することです。単一の規格や学習アルゴリズムではありません。

注目理由 長いエージェント作業で、指示・履歴・ツール結果をどう選び直すかを考える実装上の観点です。

技術的重要性 · 確認

関連発表・実装:Effective context engineering for AI agents

AIエージェント

AI Agent

目標と実行結果を見ながら、モデルが次の行動やツールを選んで作業を進めるシステムです。「エージェント」の定義には幅があり、本記事はAnthropicの設計上の区別を採用します。

注目理由 モデルがツールを使って作業を続ける設計を、固定ワークフローと区別して理解できます。

技術的重要性 · 確認

関連発表・実装:Building effective agents

比較から理解する