エージェント評価と長期タスク：モデルはどこまで長く、どれだけ確かに働けるか

8.1導入：飽和するチャットボット評価と新しい物差し

本章ではエージェント型AIの評価という、近年最も議論が活発な領域を扱う。講義冒頭で講師は受講者に「プロジェクトで何らかの評価を実行したことがあるか」と問いかけ、実際に手を動かして評価を回すことの重要性を強調した。受講者からは、複数ホップの質問応答（multi-hop QA）や、社内wikiを検索してその結果をコーディングエージェントへ渡すタスクといった具体例が挙がった。

チャットボット、あるいは単発の質問応答のような従来型ベンチマークは急速に飽和しつつある。数年前まで、モデルが複数ターンの会話で文脈を保持できるだけで大きな進歩とみなされていたが、現在ではその水準はすでに前提となっている。したがってAIの進歩を測るには、単に「答えられるか」ではなく、より複雑な二つの軸で捉える必要がある。第一に能力の軸、すなわちどれだけ長く複雑なタスクをこなせるかという時間的視野の問題。第二に経済的価値の軸、すなわち現実の専門職が行っているタスクをどれだけ代替できるかという問題である。

この二つの軸に対応する指標として、講義では二つの論文が対で紹介される。ひとつはMETRによる時間的視野の指標で、人間の専門家に換算した所要時間でモデルの能力を較正する。もうひとつはGDPvalで、モデルが行ったタスクの成果を専門家の成果と比較した勝率で測る。さらに第三の論文として、スタンフォード発のDeepScholar-Benchが紹介される。これは学術論文のRelated Work（関連研究）セクションを自動生成させるタスクを通じて、深い研究統合（deep research synthesis）能力を測定するものであり、講師自身が「論文を書くたびにモデルにやってほしいと思っていた作業」と述べるほど切実な検証対象である。

8.2METR：時間的視野でモデルの能力を測る

METRの発想は明快である。あるタスクをこなすのに熟練した人間の専門家がどれだけ時間を要するかを「普遍的なものさし」とし、モデルがそのタスクを一定の成功率でこなせるかどうかを対応づける。ここで測定される量は二つある。第一にタスクの所要時間（duration）、第二にその成功率（reliability）である。METRはこの二つを組み合わせ、「50%の確率で完了できるタスクの長さ」あるいは「80%の確率で完了できるタスクの長さ」という形でモデルの時間的視野（time horizon）を定義する。

ベンチマークは3つのタスクスイートから構成され、合計およそ170タスクを収録する。もっとも短いSWAAは1秒から30秒程度の原子的操作（ファイルを開く、など）を扱い66タスクを収める。中核をなすHCASTは1分から30時間に及ぶソフトウェア・研究エンジニアリング系タスクを97件収録する。最も長いRE-Benchは最大8時間規模の本格的なML研究タスクを7件収める（講義で以前紹介されたAIサイエンティスト論文と同系統のタスク設計である）。具体例として、シェルスクリプトを見つける（3秒）、シミュレーション入力ファイルのバグを検出・修正する（10分）、JSONデータを別形式へ変換するデータマンジング、カスタムCUDAカーネルを実装しパフォーマンス改善を狙うバックテストツール（8時間）などが挙げられた。

人間側の基準時間は、当該分野でおよそ5年の経験を持つ熟練専門家に成功事例の完了時間を記録させ、その幾何平均を取ることで算出する。ここには注意点がある。経験豊富な専門家は「何が成功か」を体得しているため、タスクの難しさを過小評価しがちであり、それはモデルにとっての難しさの感覚と必ずしも一致しない。人間の所要時間とモデルの成功率の対応点を多数集め、曲線をフィッティングすることで時間的視野が導出される。

この指標をモデルのリリース時期に沿ってプロットすると、明確な傾向が見える。2019年のGPT-2はわずか2秒程度のタスクしかこなせなかったが、2023年のGPT-4では数分（後の集計ではおよそ8分）、そして2025年のClaude 3.7 Sonnetやo1になると50%の成功率でおよそ1時間近いタスクをこなせるようになった。この伸びはおよそ7か月ごとに倍になるペースであり、講師はこれを指数関数的トレンドと呼んだ。この改善を支える要因として、論理推論能力の向上、コード生成能力の向上、ツール利用の洗練、そして繰り返し行動を避け誤りから回復する信頼性の向上が挙げられた。受講者からは、Claude Codeのようなコーディングエージェントが年々良くなっている理由として、コンテキストエンジニアリングの発達（コンテキストウィンドウ終端で発生する圧縮＝compactionなど）や、複雑な問題に直面した際にまず計画を立て、実行結果を見て再計画（replanning）する挙動が挙げられ、講師もこれを的確な洞察として肯定した。

8.3信頼性の壁：50%と80%成功率のギャップ、そして失敗モード

能力の軸はもう一つの軸、すなわち信頼性（reliability）と切り離せない。METRのプロットには50%成功率の系列と80%成功率の系列があり、後者は前者よりはるかに厳しい基準である。y軸をタスク完了時間、x軸をモデルのリリース日として比較すると、2025年時点の最良モデルが50%成功率で59分程度のタスクをこなせる一方、80%成功率まで求めると時間的視野は8〜10分程度まで縮む。Claude 3.7 Sonnetで言えば、50%成功率で59分、80%成功率では15分という大きな落差がある。

この落差は、現実のタスクにモデルを投入したとき何を意味するか。それは「そこそこ長いタスク」であっても、確実にやり遂げてくれるとは限らないということである。講師はこれを「インターンに仕事を頼んだが、半分の確率でしか終わらせてくれない」という比喩で説明した。答えを持ち帰ってくることもあれば、そうでないこともある、という不確実性が常につきまとう。

失敗の中身を分析することも重要である。GPT-4（非推論モデル）とo1（推論モデル）を比較したある研究（講義中に論文名は明示されなかったが、比較的初期のもので、より新しい研究でも類似の失敗パターンが観察されるという）では、主要な失敗モードとして次が挙げられた。第一に計画性の欠如（タスクをどう分解すべきか分からない）、第二にツール選択の誤り、第三に数学・推論の実行ミス（考え方自体は合っていても計算を誤る）、第四に何をもって完了とみなすかを見失い、堂々巡りの末に早すぎる段階でタスクを放棄してしまうこと、第五に失敗した行動を高確率のまま繰り返してしまう反復ループである。GPT-4ではこの反復ループが目立ったが、o1ではその傾向が低下していたことが指摘された。

8.4METRベンチマークの限界

どのベンチマークも完璧ではない、と講師は繰り返し釘を刺す。METRの功績は「モデルが完了できるタスクの時間的視野」を初めて定量的に測定した点にあるが、いくつかの限界も指摘された。

第一に、単一の正解が存在しない「ごちゃごちゃした（messy）」タスクではモデルの成績が下がる傾向がある。ただし、そうした曖昧さが加わっても、他のカテゴリと同様の全体トレンド自体は保たれるという。

第二に、SWE-benchとの比較で見える問題がある。SWE-benchでも同様のトレンドが観察されるが、アノテーターがタスクの難易度を過小評価しがちであること、そしてモデルの多くが訓練データの中で当該GitHubリポジトリの大半をすでに見ていることから、SWE-bench上での時間的視野の見積もりは、完全に未知のリポジトリに対する見積もりよりも短く（＝実力が過大に）出てしまう可能性がある。

第三に、社内のプルリクエストを用いた検証から見える「コンテキストの有無」の問題がある。あるコードベースに全く不慣れな契約社員（contractor）と、そのコードベースを日常的に保守しているメンテナー（maintainer）とでは、契約社員の方が5倍から18倍も時間がかかることが分かっている。そしてモデルの所要時間は、メンテナーよりも契約社員の所要時間に近い水準で一貫している。これは、モデルがそのコードベースを一度も見たことがないという点で契約社員と同じ立場に置かれているためである。

8.5GDPval：経済価値のあるタスクでの専門家との勝敗

次に紹介されるGDPval（OpenAIによる評価）は、問いの立て方そのものが異なる。「AIはこのタスクをこなせるか」ではなく、「このタスクをAIに任せた場合、その出力は人間の専門家に対して十分に良いか」を問う。評価指標は勝率（win rate）であり、10年以上の経験を持つ業界の専門家が行った実務そのものをタスクスイートとして採用している。

対象は不動産、政府、製造業、専門・科学・技術サービス、医療、金融、小売・卸売、映像編集を含む情報産業まで、上位5%のGDPに寄与する9セクター・44職種にわたる。合計1,320件のタスクを収集し、そのうち220件がHugging Face上でゴールドセットとして公開されている。O*NET職業タスク分類のうち、コンピュータ上で完結する「デジタルタスク」が全体の60%を占める。

タスクの特性として、平均完了時間は約7時間だが数週間を要するものもあり、テキストだけでなくCAD・動画・音声・スプレッドシート・プレゼンテーションなどマルチモーダルな入力を伴う。ゴールドセットの平均タスク価値は1件あたり約400ドルだが、フリーランス市場同様、より高額なタスクも存在する。約70%のタスクが参照ファイルとの対話を必要とし、89%のタスクは専門家によって「仕様が明確」と検証されている。

モデル別の勝率トレンドを見ると、2024年のGPT-4oは平均12.4%程度から始まり、その後25%、30%台へと上昇し、Claude Opus 4.1では47.6%に達した。ここで重要なのは、この改善カーブがMETRで見た指数関数的トレンドとは異なり、より線形的な改善に見える点である。モデル固有の強みも観察されており、Claude Opusは美的センス・文書フォーマット・PDFやスプレッドシート、プレゼンテーションの理解に強く、GPT-5は指示追従・正確な計算・テキストベースのタスクに強い傾向が見られた。

失敗モードの多くは指示追従の誤りに起因する。モデルは参照データを見ると約束しながら実際には見ておらず、代わりにハルシネーションで埋め合わせてしまうことがある。フォーマットの誤りも一定数見られたが、GPT-5は他モデルよりも指示追従の誤りが少なかった。全体として、タスクの約半分は「合格だが平凡（subpar）」、約20%はモデルの方が明確に優れている、そして約29%は「悪い、または致命的」という評価であった。この評価には人間の評価者間での見解の相違（disagreement）も一定程度存在する。

興味深いのは、逐次・並列サンプリング（best-of-nスタイルの試行と自己修正のループ）による改善効果である。GPT-5でn回試行を許すと、コスト効率でおよそ1.6倍、速度でおよそ1.4倍、支援なしの専門家と比べて改善が見られた。ただし、モデルが成功する場合であっても、そのコストは人間の専門家給与の10%未満に収まるという結果であった。

8.6GDPvalが示す限界：文脈依存性と「誰が問題を設計するか」

GDPvalの結果をセクター・タスク時間・モダリティで分解すると、さらに興味深い傾向が見える。政府や小売・卸売分野では、専門家とほぼ互角の水準に達しているタスクが目立つ。具体的には、カウンター・レンタル事務員、不動産ブローカー、出荷・入荷・在庫管理事務員、購買担当者、コンピュータ・IT管理者、ソフトウェア開発者、行政サービス管理者、コンプライアンス担当者、医療・保健サービス管理者、個人向けファイナンシャルアドバイザー、カスタマーサービス担当者、小売業の現場監督者、編集業務、調査・捜査報道系のアナリスト、卸売・製造業の営業担当者などである。タスクの所要時間別に見ると、モデルは数時間程度までの短いタスクで強く、タスクが長くなるにつれて性能は低下する。モダリティ別では、既に述べた通りモデルごとに得意不得意が分かれる。

ソフトウェア開発者のタスクで高い勝率が出ている点については、受講者から「専門家の基準は10年経験のはずだが、ソフトウェア開発の経験レンジは非常に広い」という指摘があった。講師はこれに対し、ソフトウェア開発の場合は経験年数よりも「そのリポジトリのメンテナーであるかどうか」がより重要な変数になっている可能性を認めた。分野によっては10年の経験そのものが本質的に重要（構造技術者や機械技術者など）だが、ソフトウェア開発ではコードベースを熟知しているかどうかの方が支配的だという整理である。

プロンプトの文脈量を意図的に減らす（under-specify）と、勝率が数ポイント下がるだけでなく、モデルが「何に取り組むべきか」を自力で見つけ出すこと自体に苦労することが分かった。実務においては、人間の頭の中にある文脈をすべてプロンプトに書き出せれば、モデルはその作業を遂行できる。しかし現実の職務上の課題の多くは、何を優先すべきか、どこに資源を投じるべきかを見極めることそのものである。つまり、人間が「解くべき問題」を設計（architect）し、モデルがそれを実行する、という分業構造が今のところの実像に近い。これはMETRの章で見た、コンテキストを持たない契約社員としてのモデルの振る舞いとも符合する。

8.7DeepScholar-Bench：深い研究統合能力を測る

第三の論文DeepScholar-Bench（スタンフォード発）は、「AIは深い研究統合（deep research synthesis）を行えるか」を問う。具体的なタスクは、多数の参考文献を読み込んで関連情報を検索・抽出し、それらを一貫した文章へ統合し、かつ検証可能な引用を伴うRelated Work（関連研究）セクションを生成することである。OpenAI Deep Research、Gemini Deep Research、Perplexityのdeep research機能、スタンフォード発のSTORM、OpenScholarなど、業界にはすでに複数のプロトタイプが存在し、この講義の宿題3でも受講者自身がdeep researchエージェントを構築している。それでもなお、この領域は挑戦的な課題であり続けているというのが本節の主旨である。

データセットは、直近のarXiv論文からPhDレベルの難易度を持つものを22分野にわたって収集し、汚染（data contamination）を避けるため主要モデルの学習カットオフ以降に発表された論文のみを対象とする。さらに毎月新しい論文で再構築される、いわゆるライブベンチマークとして運用されている。

評価は3つの軸で行われる。第一は知識合成（knowledge synthesis）で、出力が組織的・一貫していて、かつ重要な事実（key facts）を漏らさず捉えているかを見る。第二は検索品質（retrieval quality）で、取得した参考文献が実際に関連性が高いか、引用数の観点で権威ある情報源か、そして重要な文献のカバレッジを見る。第三は検証可能性（verifiability）で、引用がその主張を実際に裏付けているか、つまり精度（precision）とカバレッジ（coverage）の両面を測る。これら3軸のスコアはいずれも人間の評価と70〜80%の一致率で検証されている。

多くのベンチマークはすぐに飽和してしまい、70〜80%に達すると「もう伸びしろがない」とみなされがちである。しかしDeepScholar-Benchの面白いところは、既存のどのシステムも19%を超えられていない点にある。つまり次年度の宿題やファイナルプロジェクトとして取り組む余地が大きく残されている。軸ごとに見ると、OpenAI Deep Researchは知識合成において比較的良い成績を残すが、どのシステムも一貫して重要な事実を取りこぼす（英語としては流暢だが、内容の網羅性に欠ける）。検索品質は総じて「まあまあ」程度で、どのシステムも網羅的かつ重要な情報源を見つけることに苦戦しており、文献の重要度評価（document importance）は12.5%未満に留まる。検証可能性については、DeepScholar-Bench自身のシステムが精度90%近くに達する一方、OpenAI Deep Researchは文章としては非常に流麗であるにもかかわらず検証可能性のスコアは低い。

失敗モードの分析からは多くの学びが得られる。まず、関連文献を見つけてもその中に基礎的な論文（foundational paper）が含まれていないことが多い。その分野の専門家であれば経験的にどの論文が基礎的かを把握しコンテキストとして蓄積しているが、モデルにはその蓄積がない。次に、たとえ完璧な参考文献リストを与えたとしても、モデルはそこから重要な事実を抽出する段階で約50%程度のカバレッジしか達成できず、正解の論文集合が分からない状況ではさらに低くなる。最後に、合成の質と検証可能性を同時に高いレベルで両立できているシステムは存在しない。

8.8三つのベンチマークを重ね合わせる：進歩の姿は一つではない

ここで、研究統合タスクをMETRの時間的視野の枠組みに置き直すとどう見えるかを考える。講義の整理によれば、研究統合タスクは30分から8時間程度の時間的視野に相当するが、現在の実力は50分前後にとどまり、しかもその時間的視野における出力の質は依然として低い（成功率で言えば50%程度）。つまり、METR上で「長いタスクをこなせている」ように見えても、それが高品質であるとは限らない、という重要な注意点が浮かび上がる。

3つのベンチマークは、それぞれ異なる制約の下でモデルを測っている。この違いを整理すると次のようになる。

METRの指数関数的トレンドを素朴に外挿すると、「今1時間できるなら、次は数時間、その次は数日」という期待を抱きがちである。講師自身、この外挿として「2028年から2031年頃には1か月規模のタスクをモデルがこなせるようになる」という見立てを示したが、これはあくまで指数関数的トレンドをそのまま延長した場合の予測に過ぎない。GDPvalの線形トレンドはこの期待に対する一種の修正材料であり、数時間・数日・数週間規模のタスクになるとモデルの信頼性はまだ限定的であることを、職種別に細かく突き付けている。さらにDeepScholar-Benchは、そもそも参照データを取得・統合・検証する能力自体に構造的なギャップがあることを示す。すなわち私たちはタスクの長さだけでなく、統合の質（quality of synthesis）という別次元でも進歩を測る必要がある。

現時点で分かっていることをまとめると、モデルは仕様が明確で孤立したタスク、とりわけソフトウェア工学やML研究の領域で著しい進歩を見せている。講師はこれについて「計算機科学者・エンジニアである私たち自身がよく理解している領域だからこそ進歩が速い、つまり我々は自分たちの仕事を自動化しているのだ」と自己言及的に述べた。強いモデルは、たとえ細部に誤りがあっても全体としてよく整理された出力を生成できる。一方でまだ確信を持てないのは、十分な文脈が与えられていないタスクへの対応、曖昧なプロンプトから何をすべきかを見出す能力、敵対的な環境での頑健性、そして95%規模の高信頼性である。総じて、ソフトウェアや知識労働以外の領域への汎化はまだ限定的であり、参照データから網羅的で質の高い情報源を見つけ、重要な事実を抽出し、それを高い精度とカバレッジで検証するという能力群は依然として弱いままである。

8.9結び：長期タスクの壁を作っているのは何か

講義の終盤、受講者からは複数の実践的な問いが投げかけられた。まず、コーディング能力の進歩は今後も続くのかという問いに対し、講師はSWE-bench（特にSWE-bench Verified）が示す強い進歩トレンドを引きながらも、「最初の90%は簡単で、残りの10%に10年かかる」という格言に触れ、単純なプルリクエスト対応を超える分散システムのような難問は依然として長い尾（long tail）として残り続けると答えた。

次に、講師自身がAI研究者としてどう変わっていくと考えているかという問いには、「自分の仕事がAIサイエンティストと同等になっていくかどうか」が一つの物差しになると答えた。仮説を立て、実験を実行し、そのループ全体を完結できるAIサイエンティストが実現すれば、それがある種のAGIの定義であり、人間がその場にいなくても研究が回る状態を意味する。だが講師は「まだそこには至っていない」と明言しつつ、現時点でもAIはブレインストーミングの相手として、あるいはAI共同研究者（AI co-scientist）として非常に強力であると評価した。そして、多くの領域で「最後の一歩の信頼性（long tail of reliability）」を詰めることこそが最も難しい課題であり続けるだろうという見立てを示した。

METR論文の技術的な細部についての質問（50%成功率とは、100タスク×10試行の平均なのか、それとも各タスクごとに50%以上を要求する厳しい基準なのか）に対しては、前者、すなわち各タスクについて複数回試行しその成功率を算出し、それをタスク横断で平均する方式だと確認された。したがって「あるタスクの成功率50%」とは、そのタスクに対する試行のおよそ半分が成功するという「コイン投げ」に近い状態を意味する。

最後に、何が長期タスクへの挑戦を阻んでいるのかという問いに対し、講師は「データの問題と、モデルの根本的な能力の問題が混在している」と答えた。タスクを代表性のある形で設計し、その上でモデルの能力不足を埋めていく作業は依然として難しい。法務リサーチや金融リサーチのように広く一般的なカテゴリの仕事は採用と改善が速い一方、非常にニッチな領域では十分なデータを集めることも、適切なモデル能力を積み上げることも難しい。ロボティクスや身体性を伴うAI（embodied AI）の分野では、モデルそのものよりもまずデータ収集を主な仮説とするスタートアップ群が多数存在するという例が挙げられ、これはモデルの土台の上にどれだけギャップが積み重なっているかを示す好例として締めくくられた。

講義の言葉

用語集

言及された研究・システム