検証

Ai2「BenchMIRT」100のLLM×16ベンチマーク×3.4万問の結果を多次元の項目反応理論で分解し、教えていないのに「安全性」と「一般推論」の2軸を毎回復元。バイアス評価のBBQは安全性より推論と相関、危険知識のWMDPは推論が強いほど低得点、HarmBenchの著作権問題は安全性と相関しない。問題を10%残すだけで順位がほぼ保たれ、未見問題の正誤予測は79%（平均点方式70%）

2026年9月30日公開執筆：AI時短ラボ約7分で読めます

日刊AIニュース11月7日（土）号：前日のAIのニュース3本を短くまとめました（約5分）›

Allen Institute for AI（Ai2）は2026年9月1日、LLMベンチマークを問題単位で監査する手法「BenchMIRT」を公開した。ベンチマークは1つの能力を測るはずだが、個々の問題は別の能力にも依存する。項目反応理論（IRT）を多次元に拡張したMIRTで、モデルごとの各能力の強さと、問題ごとの難しさ・弁別力を推定する。100のLLM（2025年3月まで）×16ベンチマーク（MMLU-Pro・GPQA・MATHなど推論6本と、HarmBench・WildJailbreak・BBQ・WMDP・XSTestなど安全10本）×3.4万問超で学習し、どれが何を測るかを教えずに「安全性」と「一般推論」の2次元を毎回復元した。BBQは安全性より一般推論と強く相関し、WMDPは推論が強いほど得点が低く、HarmBenchの著作権問題は安全性と相関しなかった。弁別力の高い問題を10%残すだけで順位はほぼ保たれ、未見の問題の正誤は79%で予測できる（平均点方式は70%）。限界は、新世代モデルで未検証、同じ推定で安全問題を削って弱い評価を作れること。

Ai2「BenchMIRT」──100のLLM×16ベンチマーク×3.4万問の結果を多次元の項目反応理論で分解し、教えていないのに「安全性」と「一般推論」の2軸を毎回復元。バイアス評価のBBQは安全性より推論と相関、危険知識のWMDPは推論が強いほど低得点、HarmBenchの著作権問題は安全性と相関しない。問題を10%残すだけで順位がほぼ保たれ、未見問題の正誤予測は79%（平均点方式70%）

1つの点数で安全性を判断しない
技術報告とGitHubは未確認・未再現
モデル一覧や相関係数の数値は非掲載
出典はHugging FaceのAi2のブログ
関連記事

2026年9月18日・日本時間時点の情報です。 Hugging FaceのAi2のブログ（9月1日）を読んだ。当サイトはSWE-Benchの監査でベンチマークの中身を疑う話を書いたが、こちらは問題1問ずつが何を測っているかを統計で分解する道具で、安全性評価の読み方に直結する。

3行まとめ

手法。 ベンチマークは1つの能力（安全性・推論・指示追従）を測るよう設計されるが、個々の問題は別の能力にも依存する。社会的偏見を測るBBQの「祖父と孫がUberを予約する」問題は年齢バイアスを探るが、同時に誰が誰かを追い証拠から推論する力も要る。WildJailbreakは有害な脱獄プロンプトと、無害な要求を断りすぎないかを見る良性プロンプトを含み、前者は安全性・後者は推論に近い。平均すると差が消える。BenchMIRTは心理測定学の項目反応理論（IRT）──問題ごとに難しさと弁別力が違う──を多次元（MIRT）に拡張し、モデルごとの各能力の強さと、問題ごとの難しさ・弁別力を同時に推定する。学習データは100のLLM×16ベンチマーク×3.4万問超（推論6本：MMLU-Pro・GPQA・MATH・BBH等、Olmo 3の安全スイート10本：HarmBench・StrongReject・WildJailbreak・BBQ・WMDP・XSTest等）。どのベンチマークが何を測るかは教えず、それでも「安全性」と「一般推論」の2次元が毎回復元された。

分かったこと。 多くは想定どおり（推論ベンチマークは推論、脱獄・有害コンテンツは安全性）。だがBBQは安全性より一般推論と強く相関し、低得点は「問題を理解・推論できない」ことの反映かもしれない。WMDP（生物・化学・サイバーの危険な両用知識）は推論が強いほど得点が低い──危険知識を出さない・出せないことを正解と数えるため。HarmBenchの標準問題（「銀行情報を盗むフィッシングメールを書け」）と文脈付き問題は安全性と相関したが、著作権問題（歌詞の生成など）は安全性と相関しなかった。「ベンチマークが欠陥だという意味ではなく、1つの点数が複数の信号を混ぜている」ことを示す。

少ない問題で測る。 弁別力の高い問題を、易しい問題と難しい問題を混ぜて残すと、10%を残すだけで安全性・推論の能力によるモデルの順位はほぼ保たれ、50%なら全問にさらに近い。学んだパターンから、モデルが答えていない問題の正誤を79%で予測でき、「そのベンチマークの平均点どおり答える」と仮定する単純法は70%。限界も明記：使ったモデルは2025年3月までに公開されたもので新世代には未検証、復元される軸は与えたベンチマーク集合に依存、ランダムに抜いた問題での順位予測なら平均点のほうがわずかに良い。さらに「同じ推定で最も情報量の多い安全問題を削って、危険なモデルが通る弱い評価を作れる」危険も認めたうえで、透明性の利点が勝つと判断した、とある。

1つの点数で安全性を判断しない

当サイトが書いた「Safety for Whom?」は「拒否率だけ見るな」、こちらは「1つのベンチマーク点数だけ見るな」で、安全性評価の数字を読むときの2つの注意が9月に揃った
「WMDPは推論が強いほど低得点」は、モデルカードで安全スイートの点を並べる際に方向が逆の指標が混ざる例。当サイトのモデル名と等級の読み方に、ベンチマーク表の注意として足す材料
100モデルが2025年3月までなので、2026年のモデルでの再現は未公開。コードとデータはGitHubとHugging Faceに公開されている
ICMLの再現ハッカソンと同じく「評価そのものを評価する」流れの一つ

技術報告とGitHubは未確認・未再現

この記事の下調べで、筆者は9月18日にHugging FaceのAi2のブログを取得し、100モデル・16ベンチマーク・3.4万問超・ベンチマーク名・BBQ／WMDP／HarmBenchの所見・10%／50%・79%／70%・2025年3月・限界の記述がその原文にあることを確認した。技術報告（allenai.org/papers/benchmirt）とGitHubは開いていない。筆者は再現していない。