Artificial Analysisは、Intelligence Index v5の60%を非公開テストセットまたは留保された解答に基づかせた。モデル開発企業はそのランキングを公に引用できるが、買い手がテストの大部分を独自に再実行することはできない。
要点
- Artificial Analysisは2026年10月28日、コーディングと科学のベンチマークを加えたIntelligence Index v5を公開した。
- FrontierCode 2.0は実際のオープンソースリポジトリにある132件の非公開タスクを使い、ブロッキングチェックに失敗した提出にはゼロを与える。
- Mistralによると、Large 4はコーディングタスク1件当たり82,000出力トークンを使用し、プレビュー版より39%少なかった。
- Artificial Analysisによると、OpenAIのo1の評価には$2,767.05かかった。
- Cyber Index Allianceは2026年9月29日、Collinear、IBM、Nvidia、Vercelとともに発足した。
OpenAIは2023年、ユーザーが自社モデルの欠点を報告できるようEvalsを公開した。同年後半、AWSは企業が導入前にモデルを評価できるよう、人間のテスターを用いるBedrock Model Evaluationをプレビューとして導入した。スコアは混み合う選択肢を絞り込む助けになったが、導入候補をテストする作業は別に残った。
順位が、測定する市場そのものを定義するようになった
Artificial Analysisは、実世界での利用を反映するよう設計されたタスク群の能力を合成し、Intelligence Indexを構築した。第5版ではコーディングと科学のベンチマークを加えた。こうしたタスクの選定はモデルを並べ替えるだけではない。どの改善がベンダーを順位表で押し上げるかを決め、ひいてはベンダーがリリースで何を強調する理由を持つかを決める。
例えばMistralは、Artificial Analysisの別のCoding Agent Indexを使ってLarge 4を他のオープンモデルと比較した。その主張にはトークン効率も含まれていた。タスク当たり82,000出力トークンで、プレビュー版より39%少ない。より少ないトークンでタスクを完了するエージェントは、能力スコアが似通っていても、買い手の予算において異なる位置を占めうる。コーディング指数と総合Intelligence Indexは関連する問いに答えるが、同じ問いではない。
Artificial AnalysisはGemini 4 Hydrogen comparisonでその違いを可視化した。HydrogenはIntelligence IndexでClaude Sonnet 5.5とGPT-6.1 Solにほぼ並んだ一方、コストはSonnetの約3分の1、Solのおよそ2.5倍だった。3つから選ぶ買い手は依然としてどのタスクが重要かを知る必要があるが、この比較は僅差に支払う価格を見過ごせなくした。
外部評価者が順位付けを担えば、モデルベンダーには利点がある。自社テストより主張に重みが出るからだ。その一方で評価者は、どのタスクを合成指標に入れるか、能力を価格やトークン使用量とどう並べるかを決める。市場が進歩と呼ぶものについて、ものさしが発言権を持つようになった。
非公開テストが権威を得る前に、公開テストは識別力を失った
2024年、Meta、OpenAI、Microsoftなどは、モデルが既存の公開テストで90%の正確性に近づくか、これを上回るにつれ、社内ベンチマークを開発した。多くの候補が同じ試験に合格するようになれば、あと1点ではモデルが実際にできる仕事について買い手に伝わることが少なくなる。問題と解答が広く流通することを通じた場合も含め、繰り返し露出することで、開発者にはテストに合わせて訓練する機会も生まれる。
Artificial AnalysisはIntelligence Index v5で、合成指標の60%を非公開テストセットまたは留保された解答に基づかせることで対応した。過半がその扱いになったのは初めてである。その構成要素であるFrontierCode 2.0は、実際のオープンソースリポジトリにある132件の非公開タスクを使う。エージェントの変更をメンテナーがマージするかを問うもので、ブロッキングチェックに失敗すればゼロを与える。このルールが試すのは、エージェントがもっともらしいコードを生成したかではなく、提出された変更が運用上の基準を満たすかだ。
他の評価者も、一つの標準設計に収束しないまま関連する選択をしてきた。Scale AIはSEAL Leaderboardsで非公開データセットを使った。Googleは、テストを汚染から守りつつモデルの知的財産も守るため、暗号学的な箱の中での二重盲検外部評価を試験導入した。どちらのアプローチも参加者が見られる範囲を制限するが、管理責任とアクセスの割り当て方は異なる。
秘匿にはコストがある。留保されたタスクや解答に基づく結果を、外部者が完全に再現することはできない。代わりに、その外部者は評価者がテストをどう設計し、保護し、実行し、採点したかを評価しなければならない。Indexはv4.3で首位を未公開の主要オープンウェイトモデルより3ポイント上に置き、v5では12ポイント上に置いた。改訂された測定方法は、差を明らかにするだけでなく、差そのものを変えうる。引用した報道には、これらの効果を分けるために比較可能なv4.3の構成要素別ウェイトがない。
ホスティング先はモデル名と並べて記すべきだ
Artificial Analysisは、gpt-oss-120bなどのオープンウェイトモデルで、ホスティングプロバイダー間の一貫しない性能を確認した。両者が同じウェイトを提供しているからといって、買い手はあるプロバイダーでの結果を別のプロバイダーに持ち込めるわけではない。デプロイされたサービスにはAPIバージョン、推論設定、レイテンシー、請求額もある。Artificial AnalysisのGemini比較は、なぜコストが能力と同じ議論に含まれるべきかを示す。ホスティングの結果は、慎重に測定された能力値であっても、アドレスを必要とする理由を示す。
エンタープライズAI導入では、買い手はモデルを呼び出す条件を記録し、それが担うと見込む仕事をテストしなければならない。トークン単価だけでなく、有用なタスク当たりのコストを追うべきだ。再試行、長い出力、失敗した仕事は比較を変えうる。AWSの人手支援によるBedrock評価は、利用時点でこの問題の一部に対処した。総合リーダーボードを不要にしたわけではない。リーダーボードを参照した後に買い手が行う、別のテストを与えたのである。
Artificial AnalysisはCyber Index Allianceにより、タスク特化評価へさらに一歩を進めた。Collinear、IBM、Nvidia、Vercelは、AIエージェントが脆弱性を発見し修正できるかを評価するために参加した。総合的な知能ランキングと異なり、Allianceはエージェントがソフトウェアを修復するかをテストしなければならない。説得力のある脆弱性説明だけでは足りず、提案された修正は変更するシステム内のチェックを通過しなければならない。パートナーは関連する運用知識を持ち込む。その参加は同時に、誰がタスクを設計し、誰がアクセスを提供し、誰が結果の公表に影響を及ぼせたかを知ることの重要性を高める。
評価者は機密の証拠を検証可能にしなければならない
Artificial Analysisによると、OpenAIのo1の評価には$2,767.05かかった。より高価な推論実行は、特にスコアが多数のタスクと設定に依存する場合、独立したグループがすべての比較を繰り返すことを難しくする。主要学会で発表された400件のアルゴリズムを調べた調査では、コードを含んだものは6%、テストデータを含んだものは30%にとどまった。この調査は研究の再現に関するものであり、特定のベンチマーク提供者を対象にしたものではない。それでも、結果を確認するための素材がなくとも、結果がいかに容易に流通するかを示している。
StanfordのCenter for Research on Foundation Modelsは、Foundation Model Transparency Indexで開示を測定対象として扱った。10の開発者を100の指標で評価し、Llama 2は54%、GPT-4は48%、PaLM 2は40%だった。Stanfordが評価したのはベンチマーク管理者ではなく、モデル開発者である。開発者がモデルについてほとんど開示せず、評価者もテストについてほとんど開示しなければ、読者には埋めるべき別々の二つの空白が残る。
OpenAIは2026年9月、訓練、評価、デプロイの各段階で第三者による技術的安全性評価を認める計画だと述べた。この提案は安全性テストに関するものであり、外部者があらゆる能力指数を監査できる保証ではない。それでもアクセス条件を議論の俎上に載せる。非公開タスクを使う評価者は、解答キーを公開せずとも、タスク選定手順、採点ルーブリック、モデルバージョン、アクセス条件、サンプリング設定、コスト、利益相反を開示できる。そうすれば独立したレビュー担当者は、順位だけに頼るのではなく、管理された証拠の履歴を検証できる。誰がその履歴を調べられるのか、そしてそれについて何を言えるのかという、より狭い問いが評価プロベナンスの問題である。
単一の試験で導入判断の代わりにはならない
Scale AIのSEAL Showdownは、100カ国以上の参加者に日常的なモデルの使いやすさを投票で評価するよう求める。その判断は非公開のコーディングタスクでは見落とされうる体験を明らかにするが、人気とタスク完了は別のものを測る。MLCommonsのAILuminateは12,000件超のプロンプトを使ってLLMの安全性を評価し、特化した標準テストに、総合能力指数では果たせない役割を与える。OpenAIも、思考の連鎖の監視可能性について13の評価を導入した。これは、使いやすさの投票もコーディングスコアも捉えるよう設計されていない性質である。
買い手は、広範な指数で候補を選び、領域別テストで重大な失敗を調べ、自社のプロバイダーと設定での試行によりエラー、レイテンシー、コストを測定できる。次にガバナンス文書が、各テストを誰が実行し、何を検査できたかを定める。引用した報告では、評価者の手法を監査できないことを理由にモデルを退けた実名のエンタープライズ買い手はいない。プロベナンスを普遍的な調達ルールと呼ぶことは、記録の範囲を超える。より狭い評価と調達の隔たりは、すでに具体的だ。これらのテストのどれも単独では、特定のワークフローでモデルがどう振る舞うかを規定しない。
よくある質問
非公開テストまたは留保された解答に基づく60%を構成するIntelligence Index v5の要素は何か?
本稿はFrontierCode 2.0をそのような構成要素の一つとして特定しているが、60%に含まれるv5の全構成要素や、各要素の個別ウェイトは挙げていない。
読者は、v4.3からv5へのリーダーボードの差の変化について、改訂された手法ではなくモデル性能による部分を切り分けられるか?
できない。引用した報道はv4.3での3ポイント差とv5での12ポイント差を示しているが、手法の効果と性能の効果を分けるのに必要な、比較可能なv4.3の構成要素別ウェイトは示していない。
gpt-oss-120bで報告された差は、どのホスティングプロバイダーまたは推論設定によって生じたのか?
本稿はArtificial Analysisがプロバイダー間で一貫しない性能を確認したと述べるが、プロバイダー名やAPIバージョン、サンプリング設定、レイテンシー条件、結果ごとの差異は示していない。
OpenAIが2026年9月に示した第三者安全性評価計画は、外部者に非公開の能力ベンチマークの解答キーへのアクセスを与えるのか?
引用した記録上は、そうではない。OpenAIは訓練、評価、デプロイの各段階で第三者による技術的安全性評価を認める計画だと述べたが、これはすべての能力指数やその留保された解答を監査可能にする約束ではない。
AI評価を支える定量シグナル
| 指標 | 報告された数値 | 対象範囲 |
|---|---|---|
| Intelligence Index v5 | 60% | 非公開テストセットまたは留保された解答に基づく合成指標の割合 |
| FrontierCode 2.0 | 132件の非公開タスク | 実際のオープンソースリポジトリ内のタスク |
| 研究再現性調査 | 400件のアルゴリズム、コードを含むもの6%、テストデータを含むもの30% | 主要学会で発表されたアルゴリズム |
| Foundation Model Transparency Index | 10の開発者、100の指標 | Stanford CRFMによる開発者の開示評価 |
| AILuminate | 12,000件超のプロンプト | MLCommonsによるLLM安全性評価 |
モデルが1位のバッジを得る。Index v5の60%について、Artificial Analysisは解答キーを見せずに結果の信頼性を示さなければならない。