プランニングと多段階推論

5.1導入 — 多段階推論とプランニングの三つのアプローチ

本章では、LLMエージェントが単発の応答生成ではなく、複数のステップにわたって推論し、行動し、その結果を踏まえて計画を修正していくための手法を扱う。講義では旅行計画を例に、多段階タスクの構造を三つの要素に分解して説明した。まずreasoning（推論）では、予算や日程といった計画の要件を考える。次にact（行動）では、その推論に基づいてウェブ検索を行ったり、Redditや旅行ブログを読んだりして情報を収集する。そしてsearch（探索）では、収集したフィードバックをもとに計画を見直し、代替の目的地や現地でのアクティビティを再検討する。この推論・行動・探索のループを繰り返しながら最終的な解に到達するのが、多段階タスクの一般的な構造である。

この構造を扱う上での最大の課題は、LLMが多様な解法や経路を作り出し、それらを多段階にわたって最適化していく能力に弱さを抱えているという点である。単一の応答を生成させるだけでは探索の幅が狭く、局所的な解に落ち着きやすい。本章で紹介する三本の論文——LATS（ICML掲載）、SPRINT（NeurIPS 2025）、SWiRL（COLM 2025でMontrealにて発表予定）——は、いずれもこの課題に異なる角度から取り組んでいる。LATSはモンテカルロ木探索（MCTS）をLLMの行動選択に持ち込み、SPRINTは推論トレースを並列実行可能な単位に分解してファインチューニングし、SWiRLはツール呼び出しを伴う多段階推論をオフラインデータから強化学習で最適化する。三本に共通するのは、人手ラベルではなくLLM自身を使って学習データを生成し、学習させた振る舞いが訓練時に見ていないタスクやツールにも汎化するという観察である。

5.2LATS — Reasoning・Acting・Planningを統合する木探索

LATS（Language Agent Tree Search）は、LLMが生成した計画をそのまま実行するのではなく、複数の計画候補を探索し比較しながら最良の経路を選び出すことを目指した手法である。講義では、ハワイ旅行を計画するプロンプトを例に説明された。モデルに行動をサンプリングさせると、「ハワイに行ったことのある友人に聞く」「関連するsubredditを読む」といった複数の行動が候補として得られる。LATSはこれらの行動それぞれにスコアを付け、スコアの高い行動から優先的に木を展開していく。例えば「友人Aと友人Bの両方に意見を聞く」という行動が高スコアであれば、そこからさらに枝分かれさせて探索を続ける。行動は並列に実行可能であり、探索（新しい行動を試す）と活用（すでに有望な行動をさらに掘り下げる）のバランスを取る点でMCTSの考え方がそのまま持ち込まれている。

LATSは既存の二つの系譜から着想を得ている。一つはMath Shepherdで、こちらはverifierが推論トレースをスコアリングしてテスト時の探索を導く方式だった。もう一つはReActで、行動と環境からの観測を組み合わせて推論を進める枠組みである。LATSはMath Shepherdと異なり、推論トレース自体ではなく行動の結果（アウトカム）に基づいてスコアリングを行う点、そしてReActにモデル自身による省察（reflection）のステップを追加した点が特徴である。

5.3LATSのアルゴリズム — 6段階のプロセス

LATSは選択（selection）・拡張（expansion）・評価（evaluation）・シミュレーション（simulation）・逆伝播（backpropagation）・省察（reflection）という6段階から構成される。講義では「迷路を抜けて出口に到達する」というプロンプトを例に、この流れが具体的に説明された。

• 選択: UCTスコアに基づき、次に展開すべきノードを選ぶ。
• 拡張: 選ばれたノードから複数の行動をサンプリングする。例では「左のドアを開ける」「右のドアを開ける」「部屋を調べて手がかりを探す」の3つの行動が生成された。
• 評価: 各行動を環境で実行し、得られた観測（例:「左のドアを開けると絵画のある暗い廊下があった」）をコンテキストに追加した上で、その状態がどれだけ有望かをスコアリングする。
• シミュレーション: 最もスコアの高い状態からさらに行動をサンプリングし、成功か失敗か、あるいは展開予算の上限に達するまで探索を継続する。
• 逆伝播: シミュレーションの結果（成功/失敗）を経路上の各状態の価値に反映させる。
• 省察: 経路が成功・失敗した理由についてモデル自身に振り返らせ、その省察を以降の探索に活用する。

例では、階段に近づく行動を取った結果、出口のドアがはっきり見える観測が得られ、この経路が高く評価された。この評価結果が逆伝播によって経路上の各ノードのスコアに反映され、以降の探索方針を更新していく。

5.4価値関数・UCT・逆伝播の数理

LATSの評価段階では、ある状態の価値を二つのスコアの合成として計算する。一つはLLM-as-judgeによるスコアで、モデル自身にその状態がどれだけ成功に近いかを0から1の範囲で評価させる。もう一つはself-consistencyスコアで、例えば50回行動をサンプリングして種類ごとに分類したとき、ある行動が全体の75%を占めていれば、その行動に対応する状態には高いスコアが与えられる。この二つを足し合わせることで、一つの状態に対する単一の価値が得られる。

次にノードの選択に使われるのがUCT（Upper Confidence bound applied to Trees）である。UCTはMCTSの文献からそのまま借用された考え方で、状態の価値V(s)に、探索を促す項をハイパーパラメータ倍して加える形を取る。探索項は親ノードの訪問回数N(parent)と当該ノードの訪問回数N(s)の比に基づいており、あるノードが親に対して相対的にあまり訪問されていなければこの項は大きくなり、そのノードを優先的に探索するよう促す。逆に訪問回数が増えるほどこの項は小さくなり、UCTは価値スコアに収束していく。これにより、現時点でのスコアが低くても将来有望かもしれないノードを見逃さないよう、探索と活用のバランスを取ることができる。

逆伝播では、あるノードの価値は「(旧い価値 × これまでの訪問回数 − 1 + 今回のリターン) ÷ 総訪問回数」という更新式で計算される。講師はこの式について、最適性を数学的に証明したものではなく、探索と活用を経験的にバランスさせるための設計であると説明した。

5.5LATSの実験結果と限界

LATSはHotpotQAとWebShopという二つのベンチマークで評価された。HotpotQAは、一つの質問に答えるために少なくとも2つの異なるWikipediaページからの検索が必要になるよう設計されたデータセットであり、本質的に多段階の情報収集を要求する。LATSはサンプル数（探索する経路の数）を増やすほど性能が大きく向上し、省察のステップを加えることでさらに精度が底上げされることが示された。すなわちLATSは、テスト時により多くのコンピュートを投入するほど、多段階推論タスクの解の質を高められる仕組みを提供している。WebShopは「すでに組み立て済みの小型ポータブルデスクを、指定の色・仕上げ・価格帯で探す」といった実務的な検索・比較タスクを模したデータセットであり、LATSは追加のファインチューニングなしにテスト時の探索だけで人間の専門家に近い成績を達成した。

5.6SPRINT — 推論の並列化によるテスト時計算の効率化

SPRINTは、o1やGemini 2.5 Proのような推論モデルが「難しい問題ほど長く思考し、その思考の長さが精度と相関する」という観察に着目したNeurIPS 2025の論文である。実際、DeepSeek-R1の学習過程を見ると、AIMEのような数学問題の正答率が向上するにつれて、1応答あたりの平均トークン長も伸びていく傾向が見られる。しかし講師は、この長い思考ステップの多くが実際には互いに独立しており、逐次的に生成する必要がないと指摘した。モデルは複数の解法を並行して試したり、タスクをサブタスクに分解したり、直前のステップを検証したりするが、これらの計算の一部は本質的に並列化可能である。SPRINTはこの並列化の機会をモデル自身に見つけさせ、実際にそれを利用させることを狙いとしたポストトレーニング手法である。

具体的には、SPRINTは推論モデルに「プランナー」としての役割を持たせ、複数の計画を生成させた上で、それぞれの計画を並列に実行する「エグゼキューター」群に処理させる。この計画生成と並列実行のサイクルを繰り返すことで、推論全体を高速化する。プラン1とプラン2が互いに独立していれば、モデルはプラン1の実行完了を待たずにプラン2を生成し、両者を同時に実行に回すことができる。

5.7SPRINTの学習データ生成と結果

SPRINTの学習データは、既存の推論モデル（DeepSeek-R1）が生成した推論トレースをGPT-4oに読ませ、ステップに分解・注釈させることで作られる。GPT-4oは各ステップについて「計画部分」と「実行部分」を区別し、さらにステップ間の依存関係を分析してDAG（有向非巡回グラフ）を構築する。例えばステップ4とステップ2が互いに独立でともにステップ1に依存する場合、ステップ2と3は並列に実行できるとパッキング（束ね直し）される。こうして作られたplan/execution付きのデータセットを使い、DeepSeek-R1のQwen 7B蒸留モデルに対して教師あり学習（SFT）を行うことで、モデルは推論時に「プラン1」「プラン2」といったタグを自ら出力し、対応する実行を並列に走らせられるようになる。

5.8SWiRL — ツール利用を伴う多段階推論の強化学習

SWiRL（COLM 2025でMontrealにて発表予定）は、検索エンジンを使った多段階の質問応答、数学問題の求解、ソフトウェア開発、旅行計画、データ分析など、複数回のツール利用と推論を必要とする現実的なタスクを対象とする。講義ではこの種のタスクの難しさとして、単発のツール利用だけでも複雑になりがちな上、ステップを重ねるほど誤りが複合的に積み重なっていく点、そして学習中に実際にツールを呼び出すとツールの失敗や遅延によって学習プロセス自体が不安定・低速になる点が挙げられた。また、RLHFやAIフィードバック、実行結果に基づくフィードバックといった従来の手法の多くは、最終的な答えの正誤だけを報酬とする単一ステップ最適化に留まっており、途中のプロセスに対する統制が欠けているという課題認識も示された。

SWiRLの設計目標は、モデルに「いつツールを呼ぶべきか」「ツールに渡す適切なクエリをどう生成するか」「複数ステップにわたって精度を維持するか」「エラーからどう回復するか」「いつ新しいステップを止めて最終回答を出すべきか」を学習させることである。同時に、学習中の実ツール呼び出しを避け、学習後は未知のツールや推論タスクへ汎化できることも狙いとされた。

5.9SWiRLの学習パイプラインと汎化性

SWiRLはまずオフラインで合成データを生成する。プロンプトに対してモデルに1ステップずつ推論・ツール呼び出し・最終回答のいずれかを選ばせ、環境からの応答をコンテキストに追加しながら次のステップを繰り返し生成させる。各ステップには、直前の文脈とそのステップの行動（推論＋ツール呼び出し）だけを見せた上でLLM-as-judgeにスコアを付けさせる。重要なのは、判定者はツールの実行結果ではなく、生成されたクエリの質そのものを評価する点である。例えば「年齢が上なのは誰か」という質問に対して「まず一人目の年齢を検索すべきだ」という行動を評価する際、判定者はその人物の実際の年齢を知らなくても、質問として妥当かどうかを判断できる。このプロセス報酬付きのデータをもとに、実際の学習段階ではツールを一切実行せず、事前に収集済みの行動と環境応答をコンテキストとして与え、モデルに次の行動を生成させてその報酬だけを使って多段階RLで最適化する。

学習データはGemma2-27Bを使ってHotpotQAとGSM8Kから約5万トレースを生成し、プロセスでフィルタしたデータ・アウトカムでフィルタしたデータ・両方でフィルタしたデータ・ランダム抽出データを比較した。結果として、最終回答の正誤にかかわらずプロセス（各ステップの質）だけでフィルタしたデータのほうが学習に有効であることが分かった。これは、最初から正解にたどり着けていたトレースだけを使うと、モデルがまだ解けない問題を解けるように学習させる機会が失われてしまうためだと説明された。

講義の言葉

用語集

言及された研究・システム