ツール・コードを介したフィードバックからの学習

4.1自己改善ループを支える3種類のフィードバック

これまでの章では、test-time computeを増やすことや、検証器(verifier)を使って出力の質を高める手法を見てきた。本章ではさらに視点を広げ、モデルが現実世界の環境・ツール・コードと相互作用しながら学習する仕組みを扱う。講義では3本の論文が取り上げられる。第一にReAct——推論と行動を組み合わせて言語モデルをツール呼び出しに拡張する枠組み。第二にRLEF (grounding code LLMs in execution feedback)——コードを実際に実行した結果をフィードバックとしてコード生成を強化学習する枠組み。第三にConstitutional AI——モデル自身に自分の出力を批判させ、そのAIフィードバックを学習ループに組み込む枠組みである。

この3つはいずれも「モデルが自分自身を改善する」という点で共通するが、決定的に異なるのはフィードバックがどこから来るかという点である。ReActは環境との相互作用(検索結果や観測)から、RLEFはコードの実行結果(テストの成否)から、Constitutional AIはモデル自身による批評メカニズムやあらかじめ人間が定めた望ましい振る舞いとの照合から、それぞれフィードバックを得る。この軸を意識しながら各手法を見ていくと、後の章で扱うRLループとの接続も理解しやすくなる。

4.2ReAct: 推論と行動を統合する

ReActの出発点は、人間が行動する前にまず考える、という単純な観察である。授業を取ろうと決めるときは、それがどう役立つかをまず考える。考えた結果として行動する理由が生まれ、行動した結果として新しい観測が得られる。それを踏まえてまた新しい推論が生まれる——この思考と行動のループが人間の機能を支えている。

ところが従来の言語モデルは、この2つを単体で組み合わせることに苦戦してきた。理由は単純で、モデルは環境で実際に何が起きているかについて文脈を持たないため、幻覚(hallucination)を起こしやすいからである。例えば「今日の気温は？」とモデルに尋ねても、検索呼び出しをして情報を取得しない限り、現在の出来事について何も知らない。つまり現実世界へのグラウンディングがなく、行動を取ってそれを推論に還元することができなかった。

この課題に対して2種類のアプローチが先行して存在した。1つはchain-of-thoughtのように、モデル内部の状態だけに基づいて中間ステップを示す「推論寄り」のアプローチであり、外部からのフィードバックを一切持たない。もう1つはWebGPTのように、Webブラウザとの相互作用トレースに基づいてfine-tuningする「行動寄り」のアプローチで、明示的な推論プロセスを持たない代わりにツールの使い方を学習する。ReActはこの2つのパラダイムを統合しようとした最初の枠組みであり、その方法は驚くほど単純である。プロンプティングだけを使い、モデルに言語による推論トレース(Thought)を生成させ、それに基づいて行動(Act)を選ばせ、得られた観測(Observation)をまた次のThoughtに繋げるというThought→Act→Observationのループを、few-shot例示によって実現する。

HotpotQAの例——「Apple Remote以外にApple Remoteが元々操作するよう設計されたプログラムを操作できるデバイスは何か」という質問——で見ると、標準プロンプティングやchain-of-thoughtだけでは正解に至らない。ReActはまず「Apple Remoteを検索する必要がある」と考え(Thought)、検索を実行し(Act)、Front Rowというメディアセンターを操作するために設計されたという観測を得る。次に「Front Rowを検索すべきだ」と考えて検索するが見つからず、「Front Row Software」という新しい語を思いつき、それが既に廃止されたメディアソフトウェアだと突き止めて正解に至る。このように思考と行動と観測を交互に織り込むことで、単に行動だけを取って戻ってくるよりも良い答えに辿り着けることが示された。

4.3ReAct の実験結果: 知識集約タスクと意思決定タスク

ReActの評価は大きく2種類のタスクに分かれる。1つはHotpotQA(Wikipedia上のマルチホップ質問応答)やFever(事実検証)のような知識集約タスクで、行動空間はWikipediaページの検索・特定文字列のlookup・タスク完了(finish)に限られる、非常にシンプルなものである。比較対象となるベースラインは、Standard(思考も行動もない単純プロンプティング)、CoT(chain-of-thought)、CoT-SC(self-consistency、つまり多数決によるサンプリング)、Act-only(思考なしで行動のみ)であり、さらにActが一定ステップで失敗した場合にCoT-SCへフォールバックする組み合わせや、その逆の組み合わせも試されている。

結果として、ReActは一貫してAct-onlyより優れていたが、興味深いことにCoTには必ずしも勝てなかった。Feverでは上回ったが、HotpotQAでは上回らなかったのである。ところがCoT-SCとReActを相互にフォールバックさせる組み合わせを使うと、単体のいずれの手法よりも高い性能が得られた。これはモデル内部の知識と外部知識を適切に組み合わせ、推論を仲介役として使うことの価値を示している。エラー分析でも、CoTでは幻覚が主要な失敗要因になる一方、ReActは外部知識ベースへのアクセスによってグラウンディングされ、より信頼できる出力を生成することが確認された。さらに、プロンプティングだけでなくfine-tuningを行うと性能はさらに向上し、RLループを組み合わせるとさらに上がる(これは次章以降で扱う)。

もう1つの評価軸は、WebShopのような意思決定タスクである。これはオンラインの商品購入をシミュレートする環境で、モデルはユーザーの指示(例:引き出し付きナイトスタンドを探す)に基づいて一連のツール呼び出しを行い、購入を完了させる必要がある。比較対象はimitation learning(教師ありfine-tuningのみ)とimitation learning+RLである。

ReActはimitation learningや imitation learning+RLを上回るが、人間の専門家(82.1)には遠く及ばない(66.6)。これはWebShopが多段階のタスクであり、途中のどこか1ステップでも誤ると誤りが連鎖して累積していくためである。総じてReActの限界は、行動空間が非常に大きい場合にはより多くの例示が必要になりコンテキストに収まらないこと、そして複数の推論ステップを要するため推論コストが高くなることである。それでも質問応答・事実検証・意思決定のいずれにおいても、幻覚を減らし、より良い意思決定トレースを生成することが示された。

4.4ReAct をめぐる質疑応答: ノイズ・確信度・認知アーキテクチャ

4.5RLEF: 実行フィードバックでコード生成をグラウンディングする

2本目の論文RLEFは、コーディングエージェントを対象とする。講義ではまず「Claude Codeを日常的に使っている人はどれくらいいるか」という問いかけがあり、クラスのほぼ大半が挙手したという事実から、エンジニアリングとコーディングタスクの多くがすでにこうしたエージェントに委任されている現状が確認された。強力なコーディングエージェントを作るうえで重要なのは、ユーザーの意図を理解することに加え、生成されたコードに対して何らかのフィードバックを得て、それを基に反復できる仕組みを持つことである。

RLEFはこれをエンドツーエンドのRL fine-tuningフレームワークとして実現する。行動(action)は生成されたコードそのものであり、観測(observation)は実行フィードバック、つまりテストを実行してpass/failを収集した結果である。テストの成否に基づいて二値報酬(binary reward)を与え、PPOで方策を反復的に改善する。

コアとなる反復フィードバックループは次のように動く。まずモデルは自然言語の問題記述(例:回文の部分文字列を検出するコードを書け)を受け取り、コード解を生成する。それを公開テスト(public tests)の一部で評価し、失敗すれば実行フィードバックがモデルに提供され、次の試行が生成される。このサイクルはコードが通るか、あらかじめ決めたターン数の上限に達するまで続く。最終的に得られた解のうち通過したものについて、非公開テスト(private tests)で評価し、その結果からPPO学習ループに使う報酬を決定する。回文検出の具体例では、1回目の生成は公開テストで実行タイムアウトにより失敗し、そのフィードバックを受けて2回目の生成では最適化が行われ公開テストを通過、その後非公開テストに提出される、という流れが示された。

この枠組みには2つの重要な工夫がある。1つ目は二層テスト戦略(two-tier test strategy)である。公開テストは高速な反復のための即時フィードバックを与える一方で、生成プロセス中は完全に隠されている非公開テストが最終的な報酬のシグナルとして使われる。この分離により、モデルは公開テストの出力を単に記憶するのではなく、実行フィードバックを通じて汎化した修正能力を身につけることになる。2つ目はトークン・ターン混合ポリシー(hybrid token/turn-level policy)である。方策モデルはコードをトークンごとに生成し、生成過程には細かな制御が働くが、価値関数(value function)はターン単位で計算される——つまり応答全体に対して単一のアドバンテージ値が割り当てられ、プロンプトの最後のトークンを使って評価される。これは、系列全体に報酬を与える最近のRLアルゴリズム(GSPOなど)のトークンごとではなく系列レベルで報酬を割り当てる発想に近いと講師は説明している。

4.6RLEF の結果と質疑: なぜ効くのか、どこまで一般化するのか

RLEFの効果は、solve rate(あるK個のサンプリングのうち少なくとも1つが正解する割合)をサンプリング予算(対数スケール)に対してプロットしたグラフで示される。やや古いLLaMA 3.1を使った実験ではあるが、CodeContests(競技プログラミング問題)でRLEFによる訓練を行うと、検証セット・テストセットのいずれでもsolve rateが明確に向上した。

より重要な問いは「なぜ効くのか」である。ベースモデルは単に誤った解と実行フィードバックにさらされるだけでは恩恵を受けない。効いているのは、CodeContestsで訓練する際に各ターンで実行フィードバック(何が誤りだったか)を提示していること自体であり、それによって他のベンチマークへの汎化も進む。この点はターンごとの誤り数の分析で裏付けられる——小さいモデルでも大きいモデルでも、RLEFで訓練すると1ターン目・2ターン目・3ターン目と反復するにつれて誤った出力が減り、後続のターンでの修正がより的確になる。反復ループを持たない場合は、正しい方向への修正が起きにくい。つまりサンプル数の多様性だけでなく、どこで誤ったかを見て的を絞った修正ができることの両方が効いている。

授業ではさらに、大きなコードベースがコンテキストに収まらない場合にどうするかという発展的な討議も行われた。学生からは、ReActと同様にどの情報が必要かを考えて検索ツールにアクセスし十分な情報が得られたと判断するまで続けるアプローチ、各ドキュメントを短い要約に圧縮するアプローチ、RAGでコードベースの類似度検索を行い十分な情報かを検証しながら反復するアプローチが提案された。講師はこれがまさにClaude Codeが内部で行っていることに近いとし、この種の課題を対象とするベンチマークとしてSWE-benchを、また同様の発想に基づく研究としてAzalia研究室のCodeMonkeysを挙げている。

4.7Constitutional AI: 人間が書いた原則からAIフィードバックを作る

3本目のConstitutional AIは、モデルにAIフィードバックから学習させる枠組みであり、改善対象はモデルの無害性(harmlessness)である。有用(helpful)でありながら無害(harmless)であることの両立が目標となる。従来、こうした性質を学習させる典型的な方法は、モデルの出力を人間にランク付けさせ、正確さ・有用性・具体性などを評価してもらい、その選好から報酬モデルを構築してRLHFを行うというものだった。実際、Python fine-tuningにRLHFを組み合わせるとモデルサイズが大きくなるほど応答が改善することが示されている。しかしこの方法は、数万件の人間ラベルを集める必要がありスケールしない。

そこでAnthropicが考案したのが、人間が書いた原則の集合——constitution(憲法)——を使う方法である。人間はこの憲法を書く以外にはループに介在する必要がない。この仕組みが機能するのは、モデルが指示追従(instruction following)に長けているからだ。「この形式で応答を整形せよ」と指示すればモデルはそれに従えるし、「この応答はこの性質を持つか」と尋ねればモデルは誠実にそれに答えられる。Constitutional AIはこの能力を利用する。

具体的には16個の原則(constitution)が定義され、それぞれが望ましいモデルの振る舞いを記述する。仕組みは2段階からなる。第1段階(教師あり学習段階、SL stage)では、レッドチーミング用のプロンプトに対するモデル出力を用意し、「この出力に有害・非倫理的な内容はないか」「性差別的なバイアスはないか」「幼い子どもに不適切ではないか」といったcritique request(批評要求)をモデル自身に投げかけ、該当する場合はrevision request(修正要求)によって出力を書き直させる。この自己批評・自己修正によって生成されたデータでモデルをfine-tuningする。第2段階(強化学習段階、RL stage)では、第1段階の応答と憲法を使って選好モデル(preference model)を訓練し、そのモデルを最大化するようにLLMをfine-tuningする——つまり人間フィードバックの代わりにAIフィードバックで訓練するRLAIFの構造になっている。

4.8Constitutional AI の結果と有用性・無害性のトレードオフ

結果は訓練シーケンス数に対する有用性ELOスコアと無害性ELOスコアで示される。比較対象は、有用性のみに基づくRLHF、有用性+無害性に基づくRLHF(すべて人間フィードバックベース)、Constitutional AIの教師あり学習(SL)版、そしてchain-of-thoughtを伴うConstitutional RL版である。単に原則に基づいて自分の応答を評価させるだけでも、有用性はわずかに下がるものの無害性スコアは大幅に上がる。これはClaudeモデルが特に強みとしてきた領域であり、その後多くのモデルで採用される技術となった。

ヘルプフルネスとハームレスネスの間には一般に逆相関の関係があり、より無害にしようとすると有用性が犠牲になりやすい。とはいえ全体としては両者が同時に改善していくことが目指される。図で見ると、Constitutional AIのSL版はRLHFよりまだ性能が劣るが、chain-of-thoughtを伴うConstitutional RL版は有用性と無害性のトレードオフにおいて最良のパレートフロンティアを実現する。これがこの論文の核心的な主張である。

もう1つの質疑では、Constitutional AIのSL段階が実質的に「モデル自身が生成した批評・修正トレースへの自己蒸留」であり、外部からの明示的な報酬を伴わない点が確認された。それでもfine-tuningの規模が事前学習に比べてはるかに小さいため、モデルの基礎能力を損なうことなく出力分布だけをその方向にシフトさせられる。また選好モデル自体についても、人間との整合性を検証するための評価(バリデーション)は依然として必要であり、AIフィードバックが人間のラベルを完全に代替するわけではなく、あくまで大規模な部分を代替すると説明された。

Constitutional AIに続く関連研究として、RLAIFとRLHFを比較した研究、自己フィードバックによる反復的な改善を扱うSelf-Refine、そして自己批評よりも複数モデルによる合議(consensus)の方が優れる場合があるという知見(モデルは自分の誤りに対して過信しがちであるため)、さらに強化学習によってモデルに自己修正を教える研究などが挙げられている。これらは有用性・無害性の枠を超えて、モデルの自己修正能力そのものを対象とする活発な研究領域である。

4.9まとめ: 自己改善ループの一般形と残された問い

本章で見た3つの手法は、いずれも「モデルの出力を人間にとって好ましいものにする」という目標に対する異なるアプローチである。ReActはモデルを現実世界で行動させ、そのフィードバックを推論に統合することでグラウンディングを実現し、質問応答・事実検証・そしてゲームやWebブラウザエージェントのような意思決定の場面で有用な判断を可能にした。加えて、言語空間でThought/Actを交互に生成するというReActのスタイルは、意思決定トレースを極めて解釈しやすくするという副産物ももたらした。今日の多くのモデルでツール呼び出しが「内在化」しているのは、この系譜の延長線上にある。

RLEFはコーディングエージェントにおいて、実行フィードバック(特にユニットテストの成否)を反復的に取り込むことがいかに有効かを示した。これはモデルの自己改善に使えるだけでなく、競技プログラミングなどでstate-of-the-artの性能を得るために必要な計算予算を削減する効果もある。そしてConstitutional AIは、人間が書いた原則の集合(constitution)にモデルを従わせることで自己改善のフィードバックを生成する方法を示した。これはヘルプフルネス・ハームレスネスに限らず、モデルに何らかの規則の集合を守らせたい場面全般に一般化できる考え方である。

共通するメッセージは、フィードバックループに十分なシグナルさえあれば、訓練データそのものを超えてモデルを改善できるということである。

講義の言葉

用語集

言及された研究・システム