目次
テスト時計算スケーリング — 繰り返しサンプリングから推論アーキテクチャ探索へ
Test-Time Compute Scalingパラメータを一切変更せずに、推論時によりも多くの計算を投じるだけでLLMの性能を引き出す一連の手法を扱う。繰り返しサンプリングのべき乗則から、検証の壁、逐次リビジョン、そして複数の推論時テクニックを組み合わせるARCHONのアーキテクチャ探索まで、テスト時計算という新しいスケーリング軸の全体像を体系的に押さえる。
第3章頑健な検証——Verifierによるgeneration-verification gapの縮小
Robust Verification言語モデルは既に正解を生成する力を持っているが、その候補群から正しい答えを自動的に選び出す、あるいは生成の過程そのものを導く仕組みが検証(verification)である。本章では2021年から2025年にかけての4本の代表的論文を通じて、検証研究がoutcome-based scoringからprocess supervision、自動アノテーション、弱いverifierのアンサンブルへと進化してきた軌跡を辿る。
第4章ツール・コードを介したフィードバックからの学習
Learning from Feedback with Tools/Code推論だけでは閉じない世界とモデルをどう繋ぐか——環境との対話、コード実行結果、AIによる自己批判という3つの異なるフィードバック源から、モデルが自らを改善していく仕組みを、ReAct・RLEF・Constitutional AIの3本の論文を通じて解説する。
第5章プランニングと多段階推論
Planning and Multi-Step ReasoningLLMエージェントが複数のステップにわたって行動し、探索し、フィードバックをもとに計画を修正しながら難問を解くための三つの手法——LATS・SPRINT・SWiRL——を通じて、推論とツール利用をどう組み合わせ、どう学習させるかを学ぶ。
第6章Train Time Scaling／Scaling RL——モデル自身の出力で自己改善する
Train Time Scaling/Scaling RLtest time scalingで得た出力をフィルタしてモデル自身のfine-tuningに還流させるtrain time scalingの仕組みを、STAR・DeepSeekMath（GRPO）・DAPOという3本の論文を通じて解説する。検証可能なドメインにおいて、なぜ小さなモデルが桁違いに大きなモデルを凌駕できるのかが本章の核心である。
第7章探索による自己改善 — コード生成とディープリサーチエージェント
Self-Improvement and Deep Research Agentsモデルが出力しうる解の探索空間にはすでに正解が眠っている。本章では、その探索空間から正しい答えをどう選び出すかという一点を軸に、競技プログラミングを解くAlphaCode/AlphaCode 2と、知識ギャップを検知しながら検索を差し込むディープリサーチエージェントSearchO1を通じて、大規模サンプリングとエージェント的探索という二つの自己改善パラダイムを検討する。
第8章エージェント評価と長期タスク：モデルはどこまで長く、どれだけ確かに働けるか
Agentic Evaluations and Long Horizon Tasks対話型ベンチマークが飽和した今、AIの進歩をどう測るか。時間的視野・経済価値・研究統合という3つの新しい物差しから、モデルの能力と信頼性のあいだのギャップを読み解く。
第9章未来の研究領域 ― 自己改善ループの限界突破と知能効率の追求
Future Research Areas自己改善エージェント研究の最終回として、推論連鎖の多様性・検証・データ選定という3つの技術的ボトルネックを打破する最新研究を概観し、さらにIntelligence per Wattという新しい効率指標が示すクラウド集中型推論からエッジ推論へのシフトを展望する。
各章は講義の自動転写（mlx-whisper large-v3-turbo）に基づいて生成した非公式教材であり、講義にない主張を加えないことを編集方針とする。固有名詞の表記は転写誤りを文脈で補正しているが、原典確認には各章ヘッダーの講義動画リンクを利用されたい。Part 1（Course Overview）は導入回のため本教科書には含めず、別途レポートとして整理している。