頑健な検証——Verifierによるgeneration-verification gapの縮小

3.1検証(Verification)とは何か——Generation-Verification Gapからの出発点

本章は講義全体では第3回にあたり、前回学んだ推論時スケーリング（test-time scaling）とgeneration-verification gapの議論を出発点とする。前回の議論の要点は、言語モデルはrepeated samplingなどのtest-time scaling手法を用いれば、多くの難問に対して正解を含む候補を生成する能力自体は既に持っている、というものだった。問題は「生成された複数の候補の中から、どれが正しい答えかをどうやって自動的に選び出すか」、あるいは「答えを生成する過程そのものをどう導くか」という点にある。この選別・誘導の仕組みが検証(verification)であり、本章の主題である。

講義では、この検証というテーマに対する研究の取り組み方が2021年から2025年にかけてどのように進化してきたかを、4本の論文を通じて時系列で辿る構成になっている。第一の論文（Training Verifiers to Solve Math Word Problems, OpenAI, 2021）は、解答全体に対して一つのスコアを与えるverifierの学習を提案した。第二の論文（Let's Verify Step by Step）は、解答を構成するステップごとに報酬を与えるprocess reward modelという発想を持ち込んだ。第三の論文（Math-Shepherd）は、そのステップごとのラベルを人手を介さずに自動生成する方法を示した。そして第四の論文（Weaver）は、個別のverifierを新たに学習する代わりに、既存の複数の「弱い」verifierを推論時にアンサンブルすることでgeneration-verification gapを縮める、という全く異なるアプローチを取った。

3.2Verifierを学習する——Training Verifiers to Solve Math Word Problems

GSM8Kベンチマークの導入

2021年にOpenAIが発表したこの論文の出発点は、当時のLLMが自信満々に誤った解答を提示する（hallucinate）という課題だった。この問題は4年後の現在でもモデル性能が大きく向上したとはいえ本質的には残っている。この論文のもう一つの貢献は、新しい推論ベンチマークGSM8Kの導入である。GSM8Kは8,500問の小学校レベルの算数文章題からなるデータセットで、問題自体は単純だが解答に至るまでに複数ステップの推論を要するよう設計されている点、そして解答が純粋な数式ではなく自然言語で記述される点が特徴である。GSM8Kは公開から4年が経った現在でも、特に小規模モデルのベンチマークとして広く使われ続けている。

Verifierの学習方法

この論文の主眼は、解答が正しい確率を出力するverifierモデルの学習にある。手順は次の通りである。まず問題Qiとground truthの正解が人手によって一度だけ用意される。次に生成器（generator）となる言語モデルに同じ問題を100回サンプリングさせ、100個の解答Siを得る。それぞれの解答の最終的な答えをground truthと突き合わせることで、正解/不正解の二値ラベルを機械的に付与できる。こうして得られた（問題, 解答, ラベル）の組を使ってverifierを学習する。verifierのアーキテクチャはgeneratorと同じ言語モデルをベースにしつつ、トークンごとに二値予測を出すスカラーヘッドを追加したものである。損失は二つあり、一つはこの二値分類損失、もう一つは通常の言語モデリングの次トークン予測損失であり、両方を組み合わせることで性能が向上したと報告されている。なお問題文に対応するトークンは損失計算の対象から除外される。

学習手順とアブレーション

実際の学習は、まずgeneratorを2エポックfine-tuneし、そこから問題あたり100個の補完をサンプリングしてラベル付けし、そのデータでverifierを1エポック学習するという流れである。講義ではこの最初のfine-tuningの必要性自体が今日的には議論の余地があると指摘された。現在のモデルは指示追従や数学の理解が既に高いため、多くの新しいverifierはこのSFTステップを経ずに直接verifier目的関数の学習に進む場合がある。ラベルの粒度についてもアブレーションが行われ、文単位（各ピリオド後にそれまでの文が正しいステップかを判定）とトークン単位の二通りが試された。トークン単位のラベルは非常にノイジーだが、最終的な解答スコアとしては生成の最後のトークンにおけるスコアを採用することで一つの解答全体の可否を決定した。

結果:サンプル数とサイズの関係

結果として、6Bと175B（GPT-3系）の両モデルサイズにおいて、verifierを使う手法はfine-tuningのみのベースラインを、特にverifier学習データが増えるほど上回った。ただし訓練データが1,000件未満のように小さい場合、175Bモデルではverificationの効果はあまり見られなかった。また、大きなgeneratorと小さなverifierの組み合わせは、小さなgeneratorと大きなverifierの組み合わせより性能が良いという興味深い結果も示された。これは生成というタスクが平均的に検証よりも難しいタスクであるという直感と整合する。講義ではこの生成器と検証器のサイズ比のパレート最適点を探ることは、現在のモデル・verifierの充実度を踏まえるとなお有望な研究テーマだと述べられた。

3.3プロセス報酬モデルの登場——Let's Verify Step by Step

Outcome Reward ModelとProcess Reward Model

2つ目の論文もOpenAIによるもので、最初の論文からおよそ2年後に発表された。動機は同様にhallucinationだが、特に「解答を1ステップずつ生成する途中で、序盤の1ステップの誤りが解答全体を狂わせてしまう」という問題に着目している。ここで報酬モデリングに関する2つのアプローチが対比される。一つはoutcome-based reward model（ORM）で、これは最初の論文と同様に解答全体に対して1つのスコアを与える。もう一つはprocess-based reward model（PRM）で、解答を構成する各ステップに個別の報酬を割り当てる。最終的な解答スコアは、各ステップの報酬（確率）の積として計算される。

PRM800Kの構築

PRMの学習には、ステップごとの正誤ラベルが必要になる。この論文ではGPT-4に問題ごとに複数のステップ単位の解答を生成させ、人手のアノテーターがステップごとに「正しい/誤り/中立」のラベルを付けることで、800,000件のステップレベルラベルからなるデータセットPRM800Kを構築した。ラベリングを効率化するための工夫として、「最終的な答えは正しいが途中のステップに誤りがある」という紛らわしい誤答（convincing wrong answers）を優先的に人手に提示する手法が導入され、これによりランダムにサンプルを選ぶ場合に比べて2.6倍データ効率が向上したと報告されている。またPRM自体をイテレーティブに改善するプロセスも採用され、現在のPRMでデータ収集の優先度を決め、それを学習に反映し、さらに高品質なデータを集めるというサイクルを回している。

PRMがもたらす利点

PRMの重要な性質として、outcome supervisionだけの場合よりfalse positiveを大幅に抑制できる点が挙げられる。モデルは途中の推論過程が誤っていても偶然最終的な答えが正しくなる（hallucinateしつつ正解にたどり着く）ことがあるが、process supervisionでは各ステップを見ているため、このような「過程は誤りだが結果は正しい」というケースを検出しやすい。また解釈可能な推論過程が人手によって承認されるという副次的な利点もある。

実験結果

結果としてPRMはORM、およびmajority votingの両方を上回った。majority votingはこの実験では100サンプル程度で頭打ちになったのに対し、PRMは正答率がサンプル分布中で5%未満しかないような非常に稀な正解も検出できたことが示された。データ効率の観点でも、同数のラベルを使った場合、PRMの方がORMより効率的であり、ORMで100解答分のラベルが必要な精度に対し、PRMはより少ないラベル数で到達できたと報告されている。さらに重要な点として、汎化性能の比較ではmajority votingがORMより新しい分布への汎化に優れていたが、PRMはmajority votingをも上回り、分布シフトへの耐性がもっとも高いという結果が示された。

3.4人手アノテーションを自動化する——Math-Shepherd

自動アノテーションの発想

PRMは効果的だが、人手による大量のステップレベルラベル付けはコストが高い。Math-Shepherdはこの制約を解消するため、人手を介さずにPRM相当のラベルを自動生成する手法を提案した。核となる発想は、あるステップの質を「そのステップから最終的に正しい答えへたどり着ける見込み」として定義することである。具体的には、あるステップの時点からn個の続きを生成し（rollout）、それらが最終的に正しい答えに至るかどうかを観察する。ここから2種類の推定方法が導かれる。hard estimateは、n個のうち一つでも正解に到達すればそのステップを成功とラベル付けする方式であり、soft estimateは、n個のうち正解に到達した割合をそのままスコアとする方式である。例えばn=3のロールアウトのうち2つが正解にたどり着いた場合、hard estimateは1、soft estimateは2/3になる。

自動アノテーションの限界

この自動化手法には構造的な限界がある。講義の質疑では2つの弱点が指摘された。第一に、難しい問題では、限られたn回のロールアウトのいずれも正解に到達しない場合があり、その場合そのステップにはシグナルが一切与えられない（スコア0）。より多くのロールアウト（n=100など）を行えば正しい経路を見つけられたかもしれないが、少ないnでは検出できない。第二に、途中のステップに誤りが含まれていても偶然最終的な正答にたどり着いてしまうケースでは、そのステップに誤って高いラベルが付いてしまう可能性がある。サンプル数を増やせばこの誤りの兆候が見えやすくなるが、保証はされない。また別の観点として、非典型的だが正しい解法（unusual/unpredictable path）が低いスコアを受けてしまうリスクも議論された。

検証プロセスとRLへの応用

Math-Shepherdの検証時の使い方は、m個の候補解答をサンプリングし、学習済みPRMでスコアリングして最高スコアの解答を選ぶというものである。加えてこの論文では、学習したPRMを報酬として使い、PPOによってgenerator（Mistral 7B）を強化学習で改善するという応用も示された。これはモデル自身が生成したデータからアノテーションを作り、そのアノテーションでPRMを学習し、そのPRMを使ってgenerator自体を改善するという多段階の自己改善ループになっている。アブレーションでは、hard estimateとsoft estimateの性能差はロールアウトの深さn=4程度で最良の結果が得られる場合ほとんど無く、実装がシンプルなhard estimateが最終的に採用された。

結果

Math-Shepherdは、self-consistency（majority voting）およびORMをGSM8KおよびMATH（GSM8Kより難しいデータセット）の両方で上回り、しかも人手アノテーションを一切使っていない。さらに人手ラベルで学習された前論文のPRM800Kをも、より難しいMATHデータセットで上回る結果を示した。この傾向はLLaMA-70B、LLaMA-34B、DeepSeek-67Bなど複数のモデルファミリーで一貫して確認された。またPRMを報酬としてPPOでRLを行うと、test-time verificationだけの場合より改善幅はやや小さいものの、generator自体の性能を底上げできることが示された。RLとverificationを両方適用するとさらに性能は上がるが、その効果は次第に頭打ちになる傾向が見られた。

3.5弱いVerifierを束ねて強くする——Weaver

アプローチの転換——新しいverifierを学習しない

4本目の論文Weaverは、Stanfordから発表されたNeurIPS 2025の論文である。これまでの3本と異なり、新しいverifierを学習するのではなく、既存の複数のverifierを推論時にアンサンブルすることでgeneration-verification gapを縮小しようとする。「弱い(weak)」という形容は、意図的に性能の低いverifierを選んだという意味ではなく、単に「完璧なverifierは存在しない」という前提を指す。使用されるverifierには、これまで見てきたPRMやORMに加えて、LLM自身に解答を見せて「これは正しいと思うか」を問うLLM-as-a-judgeという第三のカテゴリも含まれる。judgeにはルーブリックやツール使用を組み込んでスコアを生成させることもできる。

単純なアンサンブルからWeaverの手法へ

複数のverifier（異なるラボ・異なるデータセットで学習されたものを含む）を単純に平均するナイーブなアンサンブルでも、上位1個・5個・10個のverifierを比較すると一定の改善は見られるが、必ずしも単調な改善ではない。一貫して効果があったのは、少量のラベル付きデータを使ってverifierごとに重みを学習する方法（単純平均やロジスティック回帰）だった。Weaver本体の手順は「スコアリング→重み付け→選抜」という3段階からなる。まず各verifierの出力を正規化して同一スケールに揃え、ラベルに対して明らかに質の低いverifierをプールから除外する。講義ではこのフィルタリングが非常に重要で、一定の品質を満たさないverifierはプールに入れるべきではないと強調された。次に、weak supervision（弱教師あり学習）を用いて、少量のラベル付きデータからverifierごとの精度を推定し、その精度に基づいて重み付き平均で最終スコアを算出する。

weak-to-strong supervisionの理論的背景

Weaverの重み付け手法は、Alex RatnerらによるSnorkelの研究に代表されるweak-to-strong supervisionの系譜に位置づけられる。設定はn個のクエリそれぞれにk個の解答を生成し、m個のverifierでスコアリングするというもので、合計n×k×mのラベルが得られる。目標は、これら全verifierのラベルが与えられたときに、あるクエリの特定の解答が正しい確率を推定することである。Weaverの鍵となる仮定は「各verifierは正しさに関する独立した側面を捉えている」というものである。もし全verifierが常に同じスコアで完全に一致するなら、それらから新しい情報は何も得られない。したがってシグナルはverifier間の類似・非類似のパターンから得られる、という考え方である。この独立性の仮定のもとで、verifier間のペアごとの独立性を利用した式とベイズの定理に基づく式の2つを組み合わせ、各verifierに割り当てるべき重みを最適化問題として解く。

実験結果——難問での大幅な改善

GPQA diamond、MATH、MMLU-proなど比較的難しいタスクほど、この重み付きアンサンブル（weak-to-strong）はナイーブなアンサンブルに対して大きな改善をもたらした。GPQAではベースラインの正答率が低い分、weak-to-strongによる改善幅が特に顕著だった。またinference computeの割り当て方には、生成サンプル数を増やす、生成・検証に使うモデルを大きくする、verifierプール内のverifier数を増やす、という複数の軸があると整理された。複数手法を比較したグラフでは、正解を必ず選べるPass@kオラクル（達成できない上限）を最上位に、Weaver（フルラベルの教師あり版）、Weaver（1%のラベルのみを使う教師なし版）、ナイーブアンサンブル、そしてmajority votingとmulti-agent verification（MAV、ルーブリックに基づくプロンプトでLLMにスコアを付けさせる方式）という順に並び、MAVはmajority votingと同等かむしろ劣る場合すらあった。ある実験では、正答率が40%強から70%超まで劇的に向上し、O3 miniに匹敵する水準に到達している。特筆すべきは、LLaMA-3.1-8B-Instructをgeneratorとし8B以下のverifierプールを使った構成が、Weaverによって70Bクラスのモデルによるmajority votingに匹敵する平均70%の正答率を達成した点であり、generatorとverifierを70Bクラスに揃えるとさらに平均86.2%まで到達し、これはプロプライエタリで異なるモデルクラスであるO3 miniに匹敵する水準だった。

蒸留によるコスト削減

複数のverifierをアンサンブルする方式には、サンプルごとに全verifierを走らせる必要があるためコストが増大するという課題がある。特に1問あたり100サンプルのような設定では、この推論コストは無視できない。この課題への対応として、Weaverを一度学習した後、それを400M（4億）パラメータ程度という非常に小さな単一モデルへ蒸留する手法が示された。蒸留モデルは、元の70Bクラスに及ぶverifierプール全体の精度の97%を、99%以上少ない計算量で再現できたと報告されている。蒸留版・オリジナル版のいずれのチェックポイントも公開されている。

3.6検証研究の軌跡と開かれた問い

4本の論文が描く軌跡

本章で見た4本の論文は、2021年から2025年にかけての検証研究の進化を示している。最初の論文は解答全体に単一のスコアを付けるORM的な発想の原型を示し、2本目はステップ単位で報酬を与えるPRMという発想を持ち込み、outcome supervisionよりprocess supervisionの方がfalse positiveを抑制でき効果的であることを示した。3本目のMath-Shepherdは、そのステップラベルを人手なしで自動生成する方法を確立し、さらにそのPRMをRLの報酬として使うことでgenerator自体を改善するという自己改善ループを実証した。4本目のWeaverは、個別のverifierを新たに学習するのではなく、既存の複数の弱いverifierを推論時にアンサンブルし重み付けすることでgeneration-verification gapを縮小し、さらにそれを軽量モデルへ蒸留してコストを抑えるという、これまでとは異なる方向性を示した。

推論モデル（reasoning model）との関係

受講者から、推論モデル（reasoning model、いわゆるo1系）にとってgeneration-verificationの議論やtest-time scalingがどう関係するかという質問が出た。講師の回答は、推論モデルの学習の大部分は推論ステップを生成し、それに報酬を与え、RLループの中で良い軌跡（positive trajectory）を選んで次の学習ラウンドの訓練データとして使う、というものであり、この意味でtest-time scaling的な手法は本質的に学習データ生成・訓練プロセスの一部として使われている。さらに講師は、将来的にはtest-time scaling（repeated sampling）が学習時のデータ生成にのみ使われ、テスト時にはモデルに一度だけ尋ねる（pass@1を極限まで高める）方向に向かうのではないか、という見立てを示した。ただしこれには課題があり、モデルの出力分布を一つの答えに強く尖らせるよう訓練しすぎると、創造性や解法の多様性が失われる恐れがあるという懸念も同時に語られた。

講義の言葉

用語集

言及された研究・システム