Train Time Scaling／Scaling RL——モデル自身の出力で自己改善する

6.1Train Time Scalingとは何か——test time scalingとの関係

本章で扱うのは、講義で「train time scaling」と呼ばれる第三のスケーリング軸である。これまでの講義ではモデルパラメータ数を増やす通常のスケーリング、そして推論時に複数のサンプルを生成し多数決や検証で最良解を選ぶtest time scalingを扱ってきた。train time scalingはこの二つを繋ぐループであり、test time scalingで得たモデル自身の出力をフィルタし、それを使ってモデル自体をfine-tuningし直すことを指す。講義では「このループさえ覚えていれば、train time scalingの基本を理解したことになる」と強調された。

この技術の重要性を示す数値として、AIME（American Invitational Mathematics Examination）ベンチマークが提示された。AIMEはMATHベンチマークが飽和・汚染（多くのモデルが学習データに含んでしまった）したために導入された、より難易度の高い数学推論ベンチマークである。GPT-3.5（1750億パラメータ）はAIMEで約5%の精度しか出せない。ところがtrain time scalingを適用したDeepSeekMathは、わずか7Bパラメータのモデルで51.7%、追加の工夫を加えると60%に達する。さらに第三の論文であるDAPOをQwen32Bに適用すると50%に到達する。パラメータ数の桁が二桁近く違うにもかかわらず、小さなモデルが大きなモデルを凌駕する——この事実こそが本章の出発点である。

講義ではこの背景にある三つの鍵となる洞察が示された。第一に、モデルを事前学習データ（インターネット全体）で訓練するのではなく、モデル自身の出力を賢くフィルタして学習させることで、モデルをさらに改善できる（本講義が属するクラス名「self-improving AI agents」の由来でもある）。第二に、モデル自身の出力に対する訓練に投じる計算量は、モデルパラメータ数の代替になり得る。第三に、教師あり学習と異なり強化学習では実装の細部が極めて重要であり、スケールアップするほど些細な修正が結果を大きく左右する。

6.2推論モデルはなぜ難問を解けるのか——Chain of Thoughtの内部構造

推論モデル（OpenAIのoシリーズ、Gemini Flash Thinking等のフロンティアラボの同等モデル）が難しい問題を解けるようになった背景には、chain of thoughtの活用がある。単純に解答を書き出すのではなく、推論のために大量のトークンを段階的な思考過程に割り当てる。講義ではそのトークンが担うパターンとして、問題分析（problem analysis）、タスク分解（task decomposition）、自己評価と自己修正（self-evaluation, self-correction/backtracking）、そして並行探索（複数のアプローチを同時に試す）の4つが挙げられた。

具体例として、o1系列モデルの初期バージョンの出力が示された。一つ目は、文字列を行列として解釈し転置するbashスクリプトを求める問題で、モデルはまず入力・出力フォーマットの理解に時間を割いてから解法に取り掛かった（問題分析）。同じ問題でモデルは「まず入力文字列をパースし、行列を構築し、転置し、同じフォーマットで出力する」と手順を分解してもいた（タスク分解）。二つ目の例は化学のpH計算問題で、モデルは計算を始めた後に「待てよ、正しい公式は違う」と気づいて式を修正した。これは既存知識から引き出した情報であっても、自らの誤りに気づいて訂正する自己修正能力を示している。

これらの推論行動がどの程度性能に効くかは、ドメインのverifiabilityに強く依存する。GPT-4o（非推論モデル）との比較で、コンピュータプログラミング、データ分析、数学計算のようにverifiabilityの高いドメインでは推論モデルの勝率が50%を超えるが、個人的な文章作成や編集のようなドメインではそれほど改善が見られない。つまり、正誤を検証できるループを閉じられるドメインほど、train time scalingの恩恵が大きいという本章全体を貫くテーマがここで先取りされている。

6.3STAR：少数のrationale付き例から自己ブートストラップする

第一の論文はSTAR（Self-Taught Reasoner、スタンフォード在籍の著者による研究）である。既存アプローチには次の限界があった。インターネット規模のデータには推論ステップを含むものがほとんど存在しない。人手で推論ステップを付与するのは極めて高コストである。既知の解法パターンから自動生成する方法は特定ドメインでしか機能しない。そしてfew-shot promptingで推論例をいくつか見せる方法は、推論なしの大規模データセットで直接fine-tuningした場合に性能で劣ってしまう。

STARの鍵となる発想は単純である。まず少数のrationale付き例から出発し、約1万問（10Kは代表的な数値）に対してモデルに解答とrationaleを生成させる。そのうち正解にたどり着いたものだけを残してfine-tuningし、このプロセスを繰り返す。ここで重要なのは「不正解だった問題をどう扱うか」である。不正解の問題をそのまま捨てると、モデルは新しい問題を解く方法を学習できない。そこでSTARはrationalizationという技法を使う。正解をヒントとして与え、そこから逆算的にrationaleを生成させるのである。この生成されたrationaleを（ヒントを見せた事実は伏せて）問題・rationale・答えの三つ組として訓練データに加えることで、より難しい問題まで訓練セットを拡張できる。

この手法は3つの前提の上に成り立っている。（1）数学のようなドメインでは最終出力の正しさが推論品質の代理指標になる、（2）モデルは答えをヒントとして与えられれば妥当な推論経路を生成できる、（3）初期モデルは少数のfew-shot例からブートストラップできるだけの能力を持つ。実験はGPT-J（6Bパラメータのオープンソース版GPT-3）を用い、GSM8K（小学校レベルの算数）、CommonsenseQA（日常的な常識問題）、多桁の足し算、合成データの4つのタスクで行われた。CommonsenseQAでは人間評価者がSTAR生成のrationaleを好むという結果が出た一方、GSM8Kでは改善が限定的だった。これはGPT-Jにとってこの問題が既に「簡単すぎた」ため、chain of thoughtを強制することとrationalizationステップを与えることに大差がなかったためと分析されている。

6.4logical leapの壁とSTARの発展形——V-STAR、Quiet-STAR

講義中、「STARの性能を制限する要因は何か」という討論課題が出された。受講者からは、rationalizationはあくまで既に正解と分かっている答えに対する後付けの説明生成に過ぎず、訓練データに存在しない論理的飛躍（logical leap）をモデルが新たに生み出すことは期待できない、という指摘が出た。別の受講者は、ベースモデルがヒントを与えられてもなお正しく推論できない問題では、rationalization自体が破綻し、誤った推論チェーンを正解のフリをして訓練データに混入させてしまう危険性を指摘した。講師はこれらを踏まえ、「この領域の魔法の大部分は、土台となるベースモデルが何をできるかにかかっている」とまとめた。

この議論を受けて、STARの発展形として2つの手法が簡単に紹介された。V-STARは、STARの「正解＝良いrationale」という単純な代理指標に代えて、generatorとverifierを組で訓練するループを導入したものである。Quiet-STARは発想を変え、推論ステップを自然言語（英語）で書き出すのではなく、MLPを用いてlatent space内で「内的に考える」ようにしたものである。英語で推論を書き出す必然性はなく、モデルが内部表現のまま思考を進められるならその方が効率的だという発想に基づく。

6.5DeepSeekMath：データキュレーションとGRPOによる7Bモデルの躍進

第二の論文DeepSeekMathは数学推論に焦点を当て、後に広く使われることになる強化学習アルゴリズムGRPO（Group Relative Policy Optimization）を提案した。まずデータの側面から見ると、先行研究のMinerva（PaLMをSTEM向けに改善した論文）はarXiv論文中心のデータで訓練していたが、DeepSeekMathはarXiv論文だけでは数学分野の十分なカバレッジが得られないことを見出し、代わりにCommon Crawlのウェブページを丹念にキュレーションした（Open Web Math）。さらに、コード推論で既に改善されたDeepSeek-Coderモデルを出発点として使うことで、コードでの推論能力が数学推論にも転移することを示した。これはコードベースのモデルから始めることの有効性を初めて示した事例として位置づけられている。

第二の貢献はRLのスケールアップである。RLHFで標準的に使われるPPOは、旧ポリシー・新ポリシー・critic（価値関数）・reward modelという4種類のモデルコピーを保持する必要があり、モデルが大きくなるほどメモリ問題が深刻になる。DeepSeekMathが提案したGRPOはcriticを排除し、代わりに同一の問題に対して複数の解答をサンプリングし、それぞれのreward modelスコアを正規化してadvantageを推定する。具体的には advantage = (報酬 − 報酬の平均) / 報酬の標準偏差 という単純な式で、グループ内での相対比較によってベースラインを構成する。これによりモデルのコピー数を3つに減らせ、メモリを節約しながらRLをスケールできるようになった。

この手法でDeepSeekMathはMATHベンチマークで46.8%から51.7%へと性能を伸ばし、7Bスケールでcriticなしに50%を超えた最初のオープンソースモデルとなった。STARや「online rejection fine-tuning」（オンラインで生成し正解のみ報酬1、不正解は報酬0として棄却する手法）と比較すると、GRPOは複数サンプルにスコアを付けグループベースラインでadvantageを与える点で一歩進んでいる。ただし興味深いことに、この改善はpass@k（k回中1回でも正解する確率、根本的能力の指標）ではなくmajority@k（多数決で正解する確率、一貫性の指標）で現れた。つまりモデルは「根本的に賢くなった」のではなく「より一貫して正解を出せるようになった」ということが講義で強調された。

6.6DAPO：Qwen32Bで露呈した破綻と4つの安定化技術

第三の論文DAPOは、GRPOをより大きく難しい問題設定で素朴に適用した際に何が壊れるかを明らかにした研究である。QwenのQwen32Bモデル（誰でも入手しやすいモデル）にGRPOをそのまま適用すると、AIMEベンチマークで約30%にしか到達しない。一方DeepSeek-R1は同ベンチマークで47%に達していた。素朴なGRPOで生じる問題として、モデルのentropy collapse（出力分布の多様性が失われ、モデルが過度に自信過剰になる現象）、訓練の不安定化、そして応答長（response length）の制御不能な暴走が挙げられた。

DAPOはこれらを解決する4つの技術を提示した。第一に、標準PPOの対称的なクリッピング関数は低確率トークンと高確率トークンを同じように扱ってしまうため、探索が早期に収束してしまう。DAPOは非対称クリッピング（Clip-Higher）を導入し、確率の低いトークンがより大きく上昇できるようにした。これによりentropyが安定し、精度も向上した。第二にdynamic samplingである。GRPOでは1問につき複数解答（例として64件）をサンプリングするが、DAPOはさらにオーバーサンプリングした上で、全問正解または全問不正解のグループを除外し、報酬にばらつきのあるグループだけを残す。これにより勾配計算に寄与しないサンプルへの計算浪費を防ぎ、有効なバッチサイズを維持する。

第三にtoken-level lossである。サンプル単位（1つの問題・解答ペアを1単位とする）で損失を計算すると、長く冗長な出力も短く良質な出力も同じ重みで扱われてしまう。DAPOはトークン単位で損失を計算することで、応答長に応じた適切な重み付けを実現した。第四に、モデルが難問に遭遇して思考が長引きコンテキスト長の上限で打ち切られてしまうケースへの対処として、緩やかなペナルティ（soft overlong punishment）を導入し、打ち切られた推論チェーンがノイズとして訓練を不安定化させることを防いだ。

最終的にこれら全てを積み上げることで、DeepSeek-R1をQwen32Bに蒸留したモデルの47%を上回る50%に到達した。講義ではこの結果から、RLのループを安定させるには「損失関数の値だけでは不十分」であり、応答長・entropy（低すぎても高すぎてもいけない）・報酬が1になったサンプルの割合（サンプリング回数の妥当性を示す）という3つの指標を常に監視する必要があると総括された。

6.73手法の使い分けと残された問い

講義の終盤では、STAR・DeepSeekMath（GRPO）・DAPOの3手法がどのような場面で使い分けられるべきかが整理された。数百程度のrationale付き例しかなく、RL用のインフラも整っていない場合はSTARが良い出発点であり、GSM8Kのような単純な推論タスクでは相応の改善が見込める（ただし劇的ではなく、あくまでモデルの既存能力の範囲内に留まる）。十分に強いベースモデルがあり、良質な指示データでモデルをまず整えられるなら、DeepSeekMathのGRPOはメモリが限られた環境でも機能する頑健なアルゴリズムであり、標準的な数学推論タスクで実証されている。推論チェーンが長くなる（≒問題が難しくなる）ほどentropyや応答長を含む変数を細かく制御する必要があり、AIMEやIMOのような競技レベルの問題でstate-of-the-art性能を狙うならDAPOのような技術群が必要になる。3手法いずれもmajority@k性能・出力フォーマットの一貫性・複数ステップにわたる一貫性は改善するが、根本的な能力（新しい問題を解く力、ドメイン外への汎化）を伸ばすものではないという共通の限界が強調された。

この限界を踏まえ、講義は開かれた問いをいくつか提示して締めくくられた。第一に、なぜmajority@kは向上するのにpass@k（真の意味での根本能力の指標）は向上しないのか。これに対しある受講者は「モデルは自分が既に知っている設計空間をより上手く探索できるようになっているだけで、探索と検索によって解にたどり着いているに過ぎない」と説明し、講師もこれに同意した。第二に、chain of thoughtで観察されるバックトラッキングや自己評価は真に新しく創発した振る舞いなのか、それとも元々存在していた統計的パターンが訓練によってより顕著になっただけなのか。第三に、失敗した試行（negative example）から有用な情報を学習する技術はまだ確立されていない——現状はほとんどの手法が失敗例を単にフィルタして捨てているに過ぎない。

質疑では、pre-trainingに対するRLの計算比率についての質問も出た。講師によれば、昨年はRL対pre-trainingの計算比率がおよそ1%程度だったが、直近ではおよそ5%程度まで増加しているという見立てが示された。Grok 4はRLに50%の計算を投じたと主張しているが、その比率に見合うほどの精度向上は見られておらず、報酬シグナルの弱さやノイズといった本章で扱ったボトルネックが依然として律速要因になっていると講師は指摘した。

講義の言葉

用語集

言及された研究・システム