未来の研究領域 ― 自己改善ループの限界突破と知能効率の追求

9.1講義全体の振り返り: 自己改善エージェントとは

最終回となる本講義は、まずこの四半期に扱ってきた内容を振り返るところから始まった。講義の前半では test-time scaling（複数サンプルを生成しmajority votingで精度を上げる手法）と train-time scaling（推論ループで得たフィードバックを報酬として強化学習に用い、自己改善ループを駆動する手法）を中心に、数学やコーディングといった検証しやすい領域でのhill climbingを扱った。続いて進化的戦略とopen-endednessの回では、報酬だけを頼りにするのではなく、探索空間さえ定義できればモデル自身に探索させる手法としてAlphaEvolveなどを議論した。その後は、ツール使用によってモデルが環境と相互作用しながらエンドツーエンドでワークフローを完遂するエージェント構築へと話を進め、複数ステップにわたるタスクを遂行するための知識ベースへのretrieval・memory、より高度なplanningとmulti-step reasoningの必要性を論じた。さらにゲスト講義ではpost-training、マルチモーダルエージェント、ロボティクス、reasoning、そしてシンボリック技術（symbolic techniques）が合成データ生成のトレンドにどう寄与するかが扱われた。

この講義群を貫く軸は「self-improving agents」という科目名の通り、LLM単体ではなくエージェントとしての振る舞いにある。エージェントとはLLMの一般化であり、ゴールを持ち、環境と相互作用してフィードバックを収集し、それをもとに自らのステップを修正していくシステムだと定義された。現状のパラダイムではLLM単体では完全なゴール達成に十分な能力を持たないことが多いため、しばしばLLMとツールをオーケストレーションするワークフローとして人手で構築される。しかしコーディングエージェントのような一部の領域では、こうしたエージェント的ワークフロー自体がモデル自身によって駆動され始めている。ワークフローの構成要素にはLLM、報酬を得るためのverifier、LLM-as-a-judge、ツール呼び出し、並列LLM呼び出しによる探索アルゴリズムなどが含まれ、ゴールに向かうためには複数ステップにわたる計画・推論・自己修正・能力の継続的改善が求められる。これが自己改善（self-improvement）の核心である。

9.2自己改善ループを阻む三つの壁

本講義の後半は「今後の研究領域（future research areas）」に充てられ、鍵となるアイデアを持つ論文を選んで紹介する形で構成された。前半の3本は自己改善ループそのものに関わる論文であり、後半はintelligenceの効率性に関わる論文である。まず自己改善ループが抱える3つの課題が整理された。第一に、test-time scalingやtrain-time scalingは依然として数学やコーディングのような狭い領域に限定されがちであり、これを他領域へどう汎化させるか、そしてself-improvementループを回し続けるために推論連鎖（reasoning chains）をどう十分に多様化するかが課題となる。第二に、自己改善ループの根幹をなすverification（検証）は依然として難しい。特に推論過程自体が誤っている場合にモデルが誤った方向に導かれないか、そしてrobustな検証技術やmeta-verification技術（検証器そのものを検証する技術）をどう構築するかが問われている。第三に、train-time scalingで用いる訓練プロンプトは依然として静的かつ人手で選定されている。self-improvementループが自ら適切なデータを選べるようにするには、このデータの壁（data barrier）を突破する必要がある。

9.3推論連鎖の多様性を作る: Multiagent Finetuning

pre-training計算量はインターネット規模データの圧縮に律速され、instruction fine-tuningは「良い応答/悪い応答」を判定する人間の選好データに律速される。この代替として、LLMが生成した合成データ（synthetic data）を使い、複数の解を生成して誤りを除外するrejection samplingを行い、正解のみでfine-tuningする反復学習が知られている（STaRのように推論連鎖を付加するバリアントも含む）。しかし単一の大規模モデルで生成する限り、たとえ高いtemperatureを使っても生成される解は互いに似通ってしまい、数回〜数十回の反復で性能向上が頭打ちになる。事前学習データが多様なのは長期間にわたり多数の人間が生成してきたからであり、単一LLMがある種のプロンプト集合に対して出力する場合、その多様性には根本的な限界がある。

Multiagent Finetuningはこの問題に対し、複数の専門化されたエージェントを用いて多様性を作り出す。generation agent（生成エージェント）が初期解を多様に生成し、critic agent（批評エージェント）がそれを評価・洗練する。手順としては、各生成エージェントがまず個別に初期解を出し、複数ラウンドにわたる「討論（debate）」の中で他エージェントの応答の要約を踏まえて次の応答を更新していく。critic agentはこの更新された解の集合を批評する。生成エージェント群はすべて同じベースモデルからfine-tuningされているが、若干異なる訓練を経ているため生成段階だけで多様性が得られ、複数エージェントの多数決（majority voting）がいわば「ただで」手に入る。最終的には多数決に一致した出力群でフィルタリングし、そのプロンプト・応答ペアでSFTを行う。critic modelは「最初から正しい解」と「討論を経て修正された解」の混在した軌跡でfine-tuningされ、正解と誤答を対比的に学習する。

効果はfine-tuning反復回数を横軸に、negative log likelihood（性能の代理指標）とembedding dissimilarity（値が大きいほど多様、という多様性の代理指標）を縦軸にとったグラフで示された。2つのオープンソースモデルで検証したところ（Llama 3の方がこの手法への反応がよい）、単一エージェントによるfine-tuningは反復を重ねると精度が頭打ちになる、あるいは崩壊するのに対し、multi-agent fine-tuningは反復を重ねても性能向上を継続でき、応答の多様性も維持され続けた。さらに数学データセット3種のオープンソースモデルで学習した結果、in-domain（数学）だけでなく隣接領域であるGSM8Kのような領域でも、fine-tuning済みエージェントはより高い性能を示した（やや古い研究のため絶対値自体は高くないが、汎化効果は明確に見られる）。

9.4検証のボトルネックを破る: DeepSeekMath-V2とメタ検証

現行の強化学習アプローチの多くは、最終的な答えが正解と一致するかどうかだけを見てoutcome reward modelを構築する。これによりAIMEなど数学系ベンチマークの多くが飽和しつつあるが、最終的な答えが正しくても、その導出過程（reasoning）が正しいとは限らない。特に定理証明（theorem proving）では、厳密な段階的導出（step-by-step derivation）が求められるが、最終出力だけではそれを保証できない。さらに厄介なことに、LLMは主として定量的推論（quantitative reasoning）で訓練されているため、生成する証明が数学的に無効であることが多く、しかもその証明を検証させると誤った証明を「妥当」と判定してしまう。つまりLLM-as-a-judge技術はこの領域では機能しない。一方、専門知識を持つ人間の査読者であれば、前の段階から次の段階が論理的に導けていない、あるいは推論に飛躍があるといった問題を的確に指摘できる。

DeepSeekMath-V2はこの問題に対し、報酬モデルそのものではなく「メタ検証器（meta-verifier）」を訓練するというアプローチを取る。まず人間が参照解なしに証明の問題点を特定し、それをもとにLLMに問題点の特定を学習させることで、証明そのものを批評できるverifierを構築する。全体のアーキテクチャはgenerator（証明を生成するモデル）とverifier（問題点を特定するモデル）というtrain-time scalingでお馴染みの2者に加え、verifierの分析が妥当かどうか（fabricated errorをでっち上げていないか）をレビューするmeta-verifierを新たに導入する点が特徴である。verifierは特定した問題点をもとに証明を0・0.5・1のスケールでスコアリングし、そのフィードバックでgeneratorを改善する。generatorはより難しい証明を生成するようになり、それがさらにverifierを鍛える、という循環的なループが形成される。meta-verifierが十分に学習した後は、誤った証明の特定作業自体を自動化できるようになり、人間のラベリングへの依存を減らせる。meta-verificationは「verifierが特定した問題点は実在するか」「スコアはその問題点から妥当に導かれているか」を評価するものであり、専門家がこの評価の質にアノテーションを付けることで訓練される。

9.5データ選定という第三の壁: モデル自身によるタスク生成

3つ目の課題は「どのデータ・どのプロンプトで訓練すべきか」である。現行のAI訓練スタックでは、教師あり学習の段階では人間が用意した推論トレース、RLVR（reinforcement learning with verifiable rewards）の段階では専門家が用意した質問・回答ペアが必要になる。数学ならば数学の専門家、IMO問題ならばIMOレベルの専門家、コーディングならば優れたソフトウェアエンジニアが必要であり、モデルが人間の知能を凌駕していくにつれて、こうした専門家や課題を十分な数だけ確保すること自体がボトルネックになる。ここで紹介された研究（Absolute Zero）は、単一のモデルがタスクを提案し、かつそれを解くという、人間が生成したプロンプトを一切必要としない極端な発想に立つ。対象領域はコーディングであり、abduction・deduction・inductionという3種類のタスクを構成する。deductionはプログラムと入力を生成し、環境がそれを実行して出力を得る。abductionもプログラムと入力を生成し、環境が出力を計算する点でdeductionと類似する。inductionはこれらと異なり、既存のプログラムをサンプルして新たな入力群と、その関数を説明する自然言語メッセージを生成し、環境がそれを実行して方向性が正しいかを判定する。

提案側（proposer）は過去に生成した例で条件付けされ、多様性を促すよう明示的にプロンプトされる。タスク選定の仕組みが巧妙で、提案されたタスクはsolverに渡され、成功率がゼロなら報酬もゼロ、成功率が非ゼロなら「1マイナス平均成功率」を報酬とする。これにより、簡単すぎず不可能でもない「中程度の難易度」のタスクが選ばれるようになり、モデルが能力を高めるにつれてproposerもより難しい問題を提案するよう学習していく。生成タスクの妥当性はプログラムの実行可能性チェック、安全性チェック、同じ入力を複数回実行して同一の出力が得られるかという決定性チェックによって、訓練パイプラインに入る前に検証される。入力・出力・プログラムの三つ組はバッファに蓄積され、proposerはそこから参照をサンプリングしつつ、solverの成功・失敗の履歴も追跡することで、時間とともに進化するカリキュラム学習（curriculum learning）が実現される。

結果として、人間がキュレーションしたプロンプトを一切使わずにコーディングベンチマークでstate-of-the-artを達成し、数万件規模の専門家データで訓練されたモデルを上回った。訓練が進むにつれ複雑性指標（complexity metrics）が上昇し、プログラムや解答の多様性も向上し、proposerは徐々により難しいタスクを生成するようになる——proposerとsolverがある種のゲーム理論的な（やや敵対的だが互いを高め合う）関係にある点が興味深い。さらに、自己提案したコーディングタスクのみで学習したにもかかわらず、数学ベンチマークでも強い性能を示すという意外な転移が観察され、モデルサイズが大きいほど相対的な利得も大きいことが報告された。

9.6検証不可能な領域とその現実的な対処

3つの課題（多様性・検証・データ選定）を振り返った上で、講師陣は次の未解決の研究課題を提示した。検証可能な領域（verifiable domains）で合成データを生成し自己改善を推し進めることが、検証手段を持たない他領域へどこまで汎化し、ラベル付きデータへの依存をどこまで減らせるか——これは計算資源を大量に要する研究課題ではあるが重要な方向性だとされた。

続いて、検証が困難な領域についての質疑が交わされた。検証が「遅い」領域の例として、チップ設計における数日がかりのシミュレーションや、化学実験のようにウェットラボでの実験を経なければ結果（報酬）が得られない科学的発見が挙げられた。test-time scalingではverifierがほぼ即座に、長くても数分〜1時間程度で応答することが求められるが、RL訓練では数百〜数千ステップの反復が必要であり、数日単位の待ち時間や人間がループに介在することは許容できない。これが「検証不可能な領域」の一種である。さらに本質的に検証が難しいのは創造性や主観性を伴う領域、例えば創作（creative writing）であり、明確な報酬関数を設計すること自体が困難である。報酬をモデル化すること自体は可能だが、モデルが少しでも的を外すとreward hackingが発生しうる。

9.7知能効率という新しい軸: Intelligence per Watt

ここからはAzaliaが担当し、Professor RayやProfessor John Hennessyらとの共同研究として、モデル側とハードウェアアクセラレータ側の両方のトレンドを踏まえ、将来のAI推論ワークロードがどのようなモデルサイズ・アクセラレータの組み合わせで構成されるかを検討する研究が紹介された。現在は「メインフレーム時代」とも言うべき状況にあり、ChatGPTやGeminiなど多くの大規模モデルはすべてクラウド上で動かされている——大きすぎて、あるいはproprietaryでアクセスできないためローカルでは動かせないからだ。しかし計算需要は爆発的に伸びており、Google Cloudは直近12〜20ヶ月で約1200倍、NVIDIAは前年比10倍という規模で成長している。これによりデータセンターは合計で約250ギガワット規模の電力供給が必要になる見込みで、需要はさらに拡大し続けている。処理トークン数で見ても、Google側では前年2月の160兆トークンから今年10月には1.3千兆（quadrillion）トークンへと急増しており、これは史上最も急速に伸びている計算需要の一つである。

一方でChatGPTユーザーの大規模データセットを分析すると、リクエストの約77%は実用的なガイダンスや情報提供、文章作成といったタスクであり、その多くは必ずしも最先端のフロンティアモデルを必要とせず、より小さくローカルで動くモデルで対応できることが分かった。ユーザーの問い合わせは時間とともに複雑化する傾向はあるものの、依然として大部分は比較的シンプルな複雑度に留まっている。さらにローカル推論アクセラレータの性能も急速に向上しており、2012年以降GPUメモリは約126倍改善し、現在のMacBookは約100ギガバイトのメモリを搭載できる。これによりint4のような量子化を施せば、最大級のモデルでもローカルで動かせるようになりつつある。

こうした背景から、「ローカル推論はクラウドへの推論需要をどう再分配しうるか」という問いのもと、capability（能力）とefficiency（効率）を統合したIntelligence per Watt（IPW）という指標が定義された。capability側は、単一ターンおよびreasoning系クエリにおいて、モデル（本研究では20B以下のactive parametersを持つものを「ローカルモデル」と定義）が対応できるクエリの割合として測定される。efficiency側は、それらのモデルをローカルハードウェアで動かした際に、1ワットあたりどれだけ有用な計算が得られるかで測る。すなわちIPWは「平均タスク精度 ÷ そのタスクを解くための平均消費電力」として定義される。検証には20以上のローカルモデル（Qwen、GPT-OSS、Gemmaなど）とエンタープライズ／ローカル両方のアクセラレータを対象に、ChatGPTから抽出した100万件のクエリとNatural Reasoning、MMLU Pro、SuperGPQAといった推論ベンチマークを用い、精度・エネルギー・レイテンシ・計算量などの指標が測定され、データセット全体がオープンソース化された。

ローカルアクセラレータは効率面でエンタープライズチップに依然として劣っており、例えばApple M4 MaxはB200と比べてIPWが1.5倍低い。B200はLLMワークロードの実行に極めて最適化されているのに対し、Apple M4はAIも含む幅広いワークロードに向けて設計されており、そもそもチップ設計者の意識としてもLLMがローカルで動くという想定が薄く、大半の設計努力がクラウド規模のチップに向けられてきたためである。とはいえIPW全体では過去2年で約5.3倍の改善が見られ、うち3.1倍はモデル自体の改善、1.7倍はハードウェア効率の改善による。モデルの性能向上とハードウェア効率向上という2つのトレンドが重なることで、今後より多くのトラフィックがラップトップやスマートフォンのようなエッジデバイス上で解決できるようになる未来が見えてくる。

9.8今後の研究課題: 理論・継続学習・インフラ

講義の締めくくりとして、いくつかの未解決の研究課題が提示された。第一に、test-time scalingの基礎原理と合成データフライホイールからの学習である。現状はRLでデータを収集しfine-tuningするというアプローチを取っているが、なぜ同じ質問をモデルに何度も投げかけるtest-time scalingによって正解が得られるのか、その背後にあるモデルの性質は何か、成功した軌跡（trajectory）をモデルに蒸留し戻すベストプラクティスは何か、といった根本的な問いは未解明である。これは継続学習（continual learning）へと自然に接続する論点でもある。

第二に継続学習そのものである。人間は課題を解き、学習を重ねる中で脳が継続的に発達しスキルが向上していくが、モデルの場合はエージェントが経験を生成し、その後にオフラインでfine-tuningするという非同期のプロセスが主流であり、その場で学習が進むわけではない。この人間とモデルの振る舞いのギャップを埋める新しい実践が求められている。

第三に、高スループット・低レイテンシのtest-time scalingを支えるインフラである。反復サンプリング、以前の生成結果への逐次的な更新、ツール呼び出しといった現在のtest-time scalingの利用パターンは、単一ターンの往復が中心である現在主流のチャットボット利用とは大きく異なる。したがって、これらの利用パターンに合わせたシステム・推論最適化の研究余地は大きい。Azaliaの研究室ではHydragenやTokasaurus（音声認識では「tokus rs」と転写）といった取り組みが行われており、test-time scalingの手法がより主流化するにつれて、こうした専用のシステム基盤・計算最適化の重要性はさらに増していく。

Intelligence per Wattの議論からも、いくつかの方向性が導かれる。まずはローカルとクラウドのモデル・アクセラレータの間で、必要度や複雑さに応じてトラフィックをスムーズにルーティングできるハイブリッドな推論サービングエンジンである。次に、ローカルアクセラレータ向けにエネルギー効率の良い推論を実現する新しいモデルアーキテクチャやカーネルであり、これはクラウドアクセラレータ向けの取り組みと比べてまだ手薄な領域である。そして何より、今後はエネルギーが最も貴重な資源になっていくため、Intelligence per Wattのような指標や、エネルギー・電力使用量をより正確に測定・最適化する手法の重要性が増していくと結論づけられた。

講義の言葉

用語集

言及された研究・システム