Hugging Face、ICML 2026の論文をコーディングエージェントで再現するハッカソン19日間で1,221人が6,816本の記録を公開し2,226本（会議の34%）を試み、35,908の主張を判定。51%で少なくとも1つの主張が検証、23%で少なくとも1つが反証または係争、242本は独立チームが正反対の判定。スポットライト論文の定理が崩れ、著者は当日確認

2026年9月18日・日本時間時点の情報です。 Hugging Faceのブログ（8月13日）を読んだ。「AIが研究を加速する」話はOpenAIとAnthropicの社内報告を追ってきたが、こちらはコミュニティが1,221人で学会1つを検査した記録で、結果が数字で出ている。

3行まとめ

1. 何をやったか。 ICML 2026は投稿23,918本・採択6,352本と前年のほぼ倍（エージェントで実験と執筆が速くなったことが一因）で、査読の容量は倍になっていない。あるスポットライト論文の査読には「私の低い確信度は、証明を丁寧に確認しなかったから」とある。そこで7月15日〜8月2日、採択全論文の核心的主張を抽出して索引し、参加者が各自のコーディングエージェント（Claude Code・Codex・Cursor・OpenResearchのorx等）で再現して、Trackioの記録（報告・コード・成果物・任意で実行トレース）をHugging Face Spaceとして公開。自動の判定器（オープンウェイトのGLM-5.2）が各記録の自己評価を鵜呑みにしない前提で、主張ごとに検証・反証・縮小規模・不明を判定した。参加者にはHF Jobsの計算クレジット20ドル。データや重みが非公開の論文は合成データで縮小再現。
2. 数字。 1,221人が6,816本の記録を公開し、**2,226本（会議の34%）**を試み（多くは複数チームが独立に）、35,908の主張を判定、HF Jobs 2,962回、実行トレースのデータセット274本。論文単位では、51%（1,103本）で少なくとも1つの主張が検証（完全再現266本、部分再現632本、実験で確認された主張3,978）。23%（496本）で少なくとも1つが反証または係争（全主張が反証で何も検証できず49本、独立チームが正反対の判定を出した242本）。残りは縮小規模の証拠のみ502本、不明280本（成果物の欠落が最多）。「再現性は二値ではなく敵対的」。
3. 見つかった穴と、人の役割。 反証の申告35件は主催者が論文と記録を読み直し数学を再導出して再検証した。確認された例：冒頭の学習補助付きページングの論文はロバスト性をH_k＋O(1)と主張したが、記録は加算項が0.38 ln kで増えることを測り証明の壊れる段を特定、主催者の再実装はk＝1,024まで広げて約9σで確認（真の値はH_k＋Θ(log k)）。「Attentionの前方伝播とFrank-Wolfe」の定理は3チームが224・約3,800・6,416ステップで反例を見つけ（有限ステップの検査で止めた他の記録が「検証」と出た理由）、著者は当日確認し修正中。「自己蒸留による継続学習」は理論が逆KLなのにコードの既定が順KLで、看板の＋4ptも再現せず、著者がarXivに訂正版。「Transformersに3つの射影は要るか」は評価ラベルの約66%がEOSパディングで困惑度が約3倍薄まり、「50%キャッシュ削減で品質コスト3.1%」は約9.4%に。一方、再現側の計算間違い（1軌跡あたりと50バッチあたりの時間の比較）による偽の反証もあり、正しく直すと論文の8倍高速が確認された。著者への連絡は始まっており、arXivの訂正2件が進行中、1件は挑戦前に著者が静かに直していた。結論は「エージェントは局所ループに嵌り、規模依存の挙動を読み違え、単位の不一致の上に反証を組む。最も信頼できた結果は人が舵を取ったワークフローから出た」「人の役割は、PIが院生に環境と問いを与えるように、知能を管理すること」。

23%反証の数字をどう割り引くか

• 「採択論文の23%で少なくとも1つの主張が反証か係争」は、判定器がLLMで、反証35件しか人手で再検証していない点を割り引いても、査読の現状を数字で示した。「独立チームが正反対」の242本は、再現側の質のばらつきも含む
• 「規模依存の見落とし」（有限ステップで止めて検証と判定）は、Julesの評価で見た「探索回数で正解率が跳ねる」と同じ構造。エージェントにどこまで走らせるかを人が決める、という結論に両者が至っている
• 判定器にオープンウェイトのGLM-5.2を使った理由は明記されていないが、同社の夏の報告では侵入事件の解析でも「閉じたモデルは断ったのでGLM-5.2で」とある
• 記録・判定・トレースはすべて公開されており、当サイトがSWE-Benchの監査で扱った「ベンチマークの検査」の学会版として参照できる

本文の数字を照合、個別記録は未確認

この記事の下調べで、筆者は9月18日にHugging Faceのブログを取得し、23,918／6,352・1,221・6,816・2,226（34%）・35,908・2,962・274・51%（1,103）・266／632／3,978・23%（496）・49／242・502／280・35件・0.38 ln k・9σ・224／3,800／6,416・66%・3.1%→9.4%・GLM-5.2がその原文にあることを確認した。個々の記録（Space）と対象論文は開いていない。筆者はハッカソンに参加していない。

判定精度・エージェント比率は非公開

• 判定器GLM-5.2の判定精度（人手の突合は反証35件のみ）
• 参加者が使ったエージェントの比率
• 訂正が出た論文の一覧

出典はHugging Faceのブログ

• What We Learned by Reproducing 2,200 papers from ICML（Hugging Face・alphaXiv・2026年8月13日）

関連記事

• OpenAIの研究加速──自動化された研究インターン
• Google Labs「Julesで測るべきもの」──探索回数で正解率が跳ねる
• SWE-Benchの監査