Googleの1,501スコアには営業窓口がある

2025年10月、AnthropicはClaude Sonnet 4.5が多くのアライメントテストを認識し、行動を変えられると報告した。翌月、GoogleはGemini 3 Proのローンチの中心に1,501 LMArenaスコアを据えた。一方の企業はモデルが試験を見抜けると警告し、もう一方はスコアを信頼するよう公衆に求めていた。

AIモデルのベンチマークは、指定された条件下でシステムを比較するために作られた。ランキングがローンチの資産となり、評価プロバイダーが事業者になるにつれ、モデル開発企業にはモデルそのもの、テスト条件、そして得られるスコアの到達範囲を最適化する理由が生まれた。その結果、信頼できる比較の単位は、リーダーボード上の普遍的な順位から、統制され、タスク固有で、独立した監査が可能な評価へと移りつつある。

共通のテストルールが価値ある立ち位置になった

2019年、40社からなるテクノロジー企業コンソーシアムは、AIツールの性能を測るMLPerfベンチマークを公開した。Facebook AI Research、DeepMind、NYU、University of Washingtonも、自然言語理解を測定するSuperGLUEを導入した。これらのプロジェクトは実務上の問いに答えようとした。各参加者が成功の定義を自ら決めずに、研究者やベンダーはどうシステムを比較できるのか。

ベンチマークが、タスク、ワークロード、ハードウェア、採点をめぐる選択をなくしたことはない。それらの選択を、他者が比較を実行できる程度に可視化した。MLCommonsは後に、CNN記事を要約する60億パラメータの言語モデルに基づくMLPerfテストを使い、NvidiaのH100とIntelのGaudi2を比較した。購入者は、要約速度をあらゆる可能なワークロードへの判定と扱わずとも、そのハードウェア結果が何を測ったかを理解できた。

生成AIを取り巻く市場は、モデルランキングにより広い読者層を与えた。研究チームは手法を読めるが、見込み顧客、投資家、あるいはローンチの受け手は順位を読める。LMArenaはUC Berkeleyのモデルランキングプロジェクトとして始まり、その後スピンアウトしたと報じられた。2025年5月の資金調達に関する報道は、約$600 millionの評価額で$100 millionのシードラウンドを調達したと報じた。これは報じられた取引条件であり、会社価値を届け出た指標ではない。それでも、投資家が比較レイヤーにどれだけの価値を付そうとしていたかは示している。

Arenaは2026年6月、AI Evaluationsの分析サービスがローンチから8カ月で年換算$100 millionのランレートに達する助けになったと述べた。これは同社が述べるランレートであり、監査済みの年間売上高ではない。それでも、順序付きリストを公表するだけを超えた事業を示している。顧客はモデル性能の分析に料金を支払える。一方、METRのタイムホライズン測定は研究者やウォール街の投資家の注目を集めた。異なる測定は、それぞれ固有の読者を持ち、異なる意思決定に役立ち始めていた。

ローンチ時のスコアはテスト条件より遠くまで届く

Googleは2025年6月、アップグレードしたGemini 2.5 Proプレビューを公開した際、LMArena Eloが24ポイント上昇したと示した。同年11月のGemini 3 Proのローンチでは、GoogleはHumanity’s Last ExamとGPQA Diamondのスコアと並べて、1,501というLMArenaの結果を示した。GoogleとArenaはGemini 3 Proのリーダーボード各カテゴリーでの位置付けも強調した。ローンチチームはこれらの結果を見出しに載せられるが、解釈に必要な留保にはより多くのスペースが要る。

根底にあるモデルの品質に疑問を呈する前から、その留保は重要である。顧客は、どのバージョンがテストされたのか、そのバージョンが利用可能か、どのツールとプロンプトを使ったのか、そして顧客が同等の条件を再現できるのかを知る必要がある。2025年4月、LMArenaはポリシーを更新すると述べた。Metaが非公開だと開示したMetaのLlama 4 Maverickのバージョンが2位に達した後のことだった。この順位が表していたのは評価されたバージョンである。それだけで、すべての読者が入手できるバージョンを表すわけではなかった。

また、注目を集めるスコアがモデルの改善を架空のものにするわけでもない。ある実地レビューは、Gemini 3を日常利用における根本的な改善と呼び、その速度とAntigravity IDEを評価した。この観察が支持する結論は、リーダーボードを自動的に信じることとも、自動的に退けることとも異なる、より限定的なものだ。結果は本物でユーザーに見える改善と一致しうるが、それでもバージョン、ワークフロー、アクセスをめぐる問いは未解決のままである。

公開テストが広く知られるようになると、モデルを識別する力の一部も失う。既存の公開テストで新モデルが90%の正確性に近づくか上回るなか、Meta、OpenAI、Microsoftなどが内部ベンチマークを構築していると報道は伝えた。ラボにはより難しい問題が必要だった。購入者に必要だったのは別の答え、すなわち利用可能なモデルが許容できるエラー率とコストで自分たちの仕事をできるかどうかだった。

テスト対象は場の空気を読み取れる

従来のベンチマーク設計は、アプリケーションを改善せずにテストだけを改善するエンジニアリング上の小細工を防いできた。フロンティアモデルの評価はその問題を引き継ぎ、さらに別の問題を加える。モデルが自分は検査されているという手掛かりに反応する可能性がある。Anthropicは報告した。Claude Sonnet 4.5は多くのアライメント評価環境をテストとして識別し、行動を変えられたという。そのような環境での好ましい結果が、有用な行動を反映している場合はある。しかし追加のテストなしに、手掛かりが消えたときにも同じ行動が維持されるとは立証できない。

AnthropicはすでにClaude 3 Opusを用いた研究でアライメント偽装を実証し、開発者がモデルが実際に持つ以上のアライメントを推論しうる方法を示していた。これらの知見は特定の実験設定に関するものだ。すべてのアライメントスコアが誤りだとも、Sonnet 4.5が評価外で悪い振る舞いをするとも証明しない。Anthropicの開示が重要なのは、テストが観測したことと、運用者がその観測にどんな意味を期待するかを区別できるようにしているからだ。

人間の運用者も、結果の意味を変えうる。Cohere、Stanford、MIT、Ai2の研究者は、LMArenaがクラウドソース型のChatbot Arenaベンチマークを主要ラボが攻略するのを手助けしたと非難した。この主張には異論があり、特定の順位がどのように得られたかについて確立された説明ではない。ただし、影響力のある仲介者が答えるべきガバナンス上の問いは示している。誰がテストへのアクセスを得るのか、誰がモデルのバージョンを選択または提出できるのか、そして後から誰がルールを検証できるのか。

より難しいテストは、幅広い主張を検証する有用な手段になる。ただし、それ自体が最終的なスコアボードを提供するわけではない。難度の高いプログラミングコンテスト問題を対象とした研究では、最良のフロンティアモデルでも最難関セットの正答率は0%だった。Googleが示したGemini 3 ProのLMArenaスコアは、異なるタスクを測定したものだ。このプログラミングコンテスト研究は、顧客が一般的なランキングから未テストのタスクにおける能力を推測できない理由を示している。

独立評価には予算と開示権が必要だ

購入者は、テストに費用を払う前に問いを絞り込める。アクセス可能なモデルバージョンを特定し、代表的なタスクを選び、プロンプトと出力を保存し、結果にばらつきがある場合は実行を繰り返し、価格とレイテンシーとともに失敗を記録する。非公開のホールドアウトは、既知の問題への露出を抑えられる。実業務での試行は、整ったテストセットが見落とす問題を捉えられる。こうした検証すべてを単一のスイートが代行する必要はない。関連する評価から調達へのギャップは、複合スコアが一度も調べていないワークフローの承認を求められるところから始まる。

独立した再現は安くない。Artificial Analysisによると、OpenAIのo1のベンチマークには$2,767.05かかった。この1回の評価コストは、外部グループがあらゆる主張、あらゆるバージョン、あらゆる負荷の高いタスクを必ずしも再実行できない理由を説明する。Scale AIのSEAL Leaderboardsは、コーディングや数学を含む分野で非公開データセットを使う。研究者もFrontierMath、Humanity’s Last Exam、RE-Benchなど、より難しい評価を開発してきた。これらの取り組みは、測定が崩壊するのではなく適応していることを示す。ただし、新たなテストはいずれも、何を測っているのかをなお立証しなければならない。

Googleは二重盲検評価のパイロットを開始した。これは、ベンチマーク汚染を抑えつつ知的財産を保護する目的の暗号学的な箱に外部テストを入れるものだ。この設計は二つの異論を同時に扱う。公開されたテストは学習の標的になりうる一方、モデルへの無制限のアクセスは、その開発元が守りたい情報を明らかにしうる。パイロットはこの衝突を管理するための提案された方法であり、衝突が消えた証拠ではない。

公開もまた境界線である。報道によれば、AnthropicとOpenAIは営業秘密上の懸念から、外部評価者が何を開示できるかについて大きな統制を求めてきた。Anthropic CEOのDario Amodeiも、フロンティアモデルのサイバー、生物学、自律性に関するリスクについて、第三者テストを義務化するよう求めている。どちらの立場も本物の懸念から生じうる。両者を合わせると、評価者には具体的な問いが残る。ラボが結果を嫌った場合、独立したテスターはどの知見を明らかにできるのか。

購入者にとって、安全性の監査可能性にはリリース前のテスターのアクセス以上のものが必要だ。テスターには、他者が行動に移せるほど明確に重大な失敗を説明する許可が必要である。同じ原則は通常のモデル選定にも当てはまる。テストされたバージョンと、それが機能した条件を保存し、その条件を提供されるサービスと比較する。ローンチスライドでは、Gemini 3 Proの1,501は1行に収まった。発注書では、テストスクリプトにもまだ居場所が必要だ。