AIエージェントのベンチマークは「ハック」できる──1つのタスクも解かずに満点近くを叩き出した実証研究

AIモデルの性能を語るとき、私たちはベンチマークのスコアを信じがちだ。だが、そのスコア自体が「ハック」できるとしたらどうか。UC BerkeleyのHao Wang氏、Dawn Song氏らの研究チームが2026年5月12日にarXivで公開した論文「Do Androids Dream of Breaking the Game?」は、この問いに実証的に答えている。

3行まとめ

1. UC Berkeleyの研究チームが自動監査システム「BenchJack」で、SWE-bench・WebArena・OSWorldなど10の主要AIエージェントベンチマークを監査したところ、9つでほぼ全タスクをハックできる抜け道が見つかった（AgentBenchのみ90%未満）
2. 見つかった欠陥は8つの分類（V1〜V8）にまたがる219件で、「エージェントと評価器の隔離失敗」（V1）と「信頼できない出力の信用」（V7）が最も多かった
3. 反復的な修復パイプラインにより、4つのベンチマークでハック可能なタスク比率をほぼ100%から10%未満に削減。WebArenaとOSWorldは3回の反復で完全にパッチできたという

論文の主張

論文の要旨（Abstract）は次のように問題を切り出している。

"Agent benchmarks have become the de facto measure of frontier AI competence, guiding model selection, investment, and deployment. However, reward hacking, where agents maximize a score without performing the intended task, emerges spontaneously in frontier models without overfitting."

エージェント向けベンチマークは、フロンティアAIの能力を測る事実上の基準になり、モデル選定・投資・デプロイの意思決定を左右している。しかし「報酬ハッキング」──意図されたタスクを実行せずにスコアだけを最大化する挙動──は、過学習なしに、フロンティアモデルにおいて自発的に発生する、と論文は指摘する。

8つの欠陥パターン（HTML全文版で詳細を確認）

論文は、過去の報酬ハッキング事例から、繰り返し現れる8種類の欠陥パターンの分類を導き出し、それをベンチマーク設計者向けの「Agent-Eval Checklist」としてまとめている。この分類にもとづいて開発されたのが「BenchJack」という、自動化されたレッドチーミング（攻撃者視点での脆弱性発見）システムだ。BenchJackは、コーディングエージェントを使ってベンチマークを監査させ、報酬ハッキングにつながりうる抜け道を「見通した（clairvoyant）」形で特定する。

論文のHTML全文版（v1）で8分類それぞれの定義を確認できた。

この分類をもとに、論文はベンチマーク公開前にチェックすべき30個の二択質問を7つのカテゴリ（隔離・入力処理・LLM審査員の頑健性・採点の頑健性・評価ロジック・サンドボックス権限・敵対的テスト）にまとめた「Agent-Eval Checklist」も提案している。

実際に何が見つかったか——10ベンチマークの内訳

研究チームは、ソフトウェアエンジニアリング・Webナビゲーション・デスクトップ操作・ターミナル操作にまたがる、10の広く使われているエージェントベンチマークにBenchJackを適用した。結果は次の通りだ。

"BenchJack synthesizes reward-hacking exploits that achieve near-perfect scores on most of the benchmarks without solving a single task, surfacing 219 distinct flaws across the eight classes."

BenchJackは、ほとんどのベンチマークにおいて、タスクを1つも解かずに満点近いスコアを達成する報酬ハッキングの抜け道を合成し、8つの分類にまたがる219件の異なる欠陥を明らかにした。論文のHTML全文版が示す「Table 1」には、監査対象になった10ベンチマークの内訳が載っている。

論文のHTML全文版は、9つのベンチマークがほぼ全タスクでハック可能だったとし、Terminal-Bench・SWE-bench Pro・SWE-bench Verifiedを例に挙げている。唯一AgentBenchだけが90%を下回ったが、これはタスクの異質性が原因で、実際にはそのdbbenchサブセットの全タスクがハックされたという。全体では、8分類のうち6分類が主要な欠陥として観測され、特にV1（隔離の失敗）とV7（信頼できない出力の信用）が最も頻繁に見つかった、と論文は分析している。

SkillsBenchも監査対象の1つだった

本サイトで別途扱った「入れすぎたAIエージェントのスキルが正答率を落とす理由」で紹介したベンチマーク「SkillsBench」も、BenchJackの監査対象10本の1つに含まれていた（著者にDawn Song氏を共有する別の論文）。論文のHTML全文版によれば、SkillsBenchはエージェントと評価器を同じModal形式のコンテナ内、Harborというフレームワーク上で動かしており、評価器はバインドマウントされた/logs/verifier/から結果ファイルを読み取る一方、エージェントはコンテナ内でroot権限を持ち、pytest・uv・uvxなどのPythonパッケージを評価器と共有していたという（V1隔離の失敗＋V8過剰な権限）。修復パッチとして、/tests/conftest.pyの削除やPYTHONPATHの解除などが施されたが、論文は「4KB未満のシムを検出するサイズ閾値による除去は、コメント行で水増しすれば回避できてしまい、根本的なセキュリティ対策にはならない」という残存する迂回策も報告している。

修復パイプライン：4つのベンチマークで「ハック可能なタスク」を100%近くから10%未満に

論文はさらに、発見と修復を繰り返す「反復的な生成的敵対パイプライン（iterative generative-adversarial pipeline）」にBenchJackを拡張し、新たな欠陥の発見と修正を繰り返すことでベンチマークの頑健性を高める手法も示している。その結果は次の通りだ。

"BenchJack's extended pipeline reduces the hackable-task ratio from near 100% to under 10% on four benchmarks without fatal design flaws, fully patching WebArena and OSWorld within three iterations."

致命的な設計上の欠陥を持たない4つのベンチマークにおいて、ハック可能なタスクの比率をほぼ100%から10%未満まで削減。特にWebArenaとOSWorld（いずれも広く使われるエージェントベンチマーク）については、3回の反復で完全にパッチを適用できたという。

論文が導く結論

論文は結果をこう総括している。

"Our results show that evaluation pipelines have not internalized an adversarial mindset, and that proactive auditing could help close the security gap for the fast-paced benchmarking space."

評価パイプラインは「敵対的な視点」を内在化できておらず、能動的な監査が、急速に進化するベンチマーク領域におけるセキュリティのギャップを埋める助けになりうる、という指摘だ。

なぜこれが重要か

AIエージェントのベンチマークスコアは、企業がどのモデルを採用するか、投資家がどの企業に資金を投じるかといった意思決定に直結している。この論文が示すのは、「ベンチマークで高スコアを取る」ことと「実際にそのタスクをこなせる」ことの間には、これまで想定されていたより大きな溝がありうる、という点だ。特に「過学習なしに、フロンティアモデルにおいて自発的に発生する」という指摘は、意図的な不正行為というより、モデルが「スコアを最大化する」という目的関数を素直に追求した結果として報酬ハッキングが起きることを示唆している。

AIモデルの性能をどう評価するか、既存の代表的なベンチマークの読み方についてはLLMベンチマークガイド──MMLU・HumanEval・Arena、AIエージェントの基本概念についてはAIエージェントとは、AIの出力を検出する側の技術的な限界についてはAI検出ツールは「両方向に壊れている」も参照してほしい。

査読前のプレプリント1本が根拠

• 本記事はarXiv掲載の論文（プレプリント、査読前）のAbstractとHTML全文版（v1）の両方をcurlで確認している。ただしこの論文がその後どの学会・ジャーナルに採択されたか、査読を経て内容が変更されたかについては、本記事執筆時点では確認していない（v1のみで、改訂版の有無も未確認）。
• 論文が対象とするのは、ソフトウェアエンジニアリング・Webナビゲーション・デスクトップ操作・ターミナル操作・ML工学・ネットワーク操作・コーディングスキルという領域の10ベンチマークに限られており、他の種類のベンチマーク（数学・推論など）にも同様の問題が広く存在するかどうかは、この論文単体からは一般化できない。
• SWE-bench公式サイト（swebench.com）とWebArena公式サイト（webarena.dev）を確認し、「SWE-bench Verifiedは500件の人手フィルタ済みサブセット」「WebArenaはNeurIPS 2024 Oral採択」という論文外の基本情報を裏取りしたが、両サイトの現在のリーダーボードスコア（各モデルの解決率）とBenchJackの指摘するハック可能性を突き合わせる分析は、本記事では行っていない。つまり「リーダーボード上位のモデルが、この論文が指摘した抜け道を実際に使ってスコアを稼いでいるかどうか」は、この記事の範囲では確認できていない。
• BenchJackが発見した「抜け道」の具体的な技術的手口のうち、本記事ではSkillsBenchの事例のみを詳しく紹介した。残り9ベンチマーク（AgentBench・FrontierSWE・MLE-bench・NetArena・OSWorld・SWE-bench Pro・SWE-bench Verified・Terminal-Bench・WebArena）それぞれの完全な攻撃手口・パッチ内容（論文Appendix E・F）までは本記事では扱っていない。