GPT-6 Astra、モデル外部の37.2ポイント

ARC Prize Foundationが2026年3月25日と26日の発表で導入したベンチマーク、ARC-AGI-3において、OpenAIのGPT-6 Astraは標準ハーネスで62.7%、プロバイダーアダプターで99.9%を記録したと報じられている。両方のスコアは正確であり得る。しかし、かつてのモデルリーダーボードが意味していたものと同じではあり得ない。

ARC-AGI-3は解答欄を環境の中へ移した

ARC Prize FoundationはARC-AGI-3を、斬新でゲームのような環境を軸に構築した。このテストは、記憶済みの答えを取り出すのではなく、システムに探索、仮説形成、計画、学習、適応を求める。エージェントを人間の行動効率とも比較するため、解答そのものに加え、解答へ至る経路も重要になる。

10人の人間テスターのうち少なくとも2人がすべての環境を解き、ARC-AGI-3は2番目に優秀なテスターの行動数を基準に使う。Foundationも、ARC-AGI-3は人工汎用知能の最終試験ではないと注意を促す。人間なら解ける一方でAIシステムにはなお難しい、残存する問題を対象としている。

ARC-AGI-3は、テストが物理的に触れる対象を変える。静的なベンチマークなら、モデルにプロンプトを送り、返されたトークンを採点できる。ARC-AGI-3ではモデルを一連の流れの中に置く。システムは不完全な状態を認識し、行動を選び、新たな情報を受け取り、何を保持または修正するかを決める。したがってこのベンチマークは、トークン生成を越え、意図を環境内で遂行させる仕組みにまで及ぶ。

報告されたプロバイダーアダプターへの切り替えはAstraのスコアを37.2ポイント引き上げ、ランタイムを測定能力の一部にした。行動ベンチマークでは、アダプター、権限、状態管理、リトライ、回復ポリシーが、実世界の結果と、それを売り込むために使われるスコアの両方を左右する。

ランタイムがモデルに届くものを決める

AIエージェント内のモデルは、世界を直接調べられない。ブラウザはピクセル、アクセシビリティツリー、文書構造を与える。アプリケーションはボタン、フィールド、権限を公開する。ツールは部分的な成功、エラー、あるいは変化した状態を返す。ランタイムは、こうした観測をどう表現するか、どの行動を公開するか、失敗した試行が残りの予算を消費すべきか、それとも別の経路を起動すべきかを決める。

OpenAIは長期タスクでエージェントを展開・テストするため、Agents SDKにネイティブサンドボックスと分布内ハーネスを追加した。Microsoftは、インターフェースの変化を動的に検出するようCopilot Studioのコンピューター利用ツールを設計した。GoogleはGemini APIとエンタープライズエージェントプラットフォームを通じ、コンピューター利用をGemini 3.5 Flashの組み込み機能にした。各社は、環境の解釈をモデルを包む製品の一部に組み込んだ。

Browser Useは、エージェントがより容易に解釈できるテキストのような表現へウェブ要素を変換するソフトウェアで$17 millionのシードラウンドを調達した。そのソフトウェアは、ウェブサイトと基盤モデルを変えずに、モデルへ届く観測を変える。

長時間稼働するエージェントには、すでに起きたことについての作業用の記録も必要だ。ランタイムは、新しい画面と遅延した更新を区別し、過去のすべてのトークンを引きずらずに有用な状態を保存し、エラーが計画全体を無効にするのか、最後の行動だけを無効にするのかを判断しなければならない。部分観測下では、こうした選択が次のターンでモデルが証拠を受け取るか、ノイズを受け取るかを決める。

閉ループの改善は従来の開示基準を破る

OpenAIは、新モデルのリリースなしに性能がどこまで動くかを示した。同社によると、Responses APIハーネスは、より少ない出力トークンでGPT-5.6 SolのARC-AGI-3スコアを3倍にした。Solは公式ハーネスで7.8%を記録していた。Responses APIハーネスは、タスクをループ内でどう提示し、モデルの決定をどうタスクへ戻すかを変えることで、より少ない出力でより多くの作業を完了した。

Nvidiaの汎用コーディングエージェントシステムAVOは、ARC-AGI-3の25の公開環境にわたる全183レベルを完了した。この公開セットでの完全な結果は、それらの環境におけるエージェントとハーネスの組み合わせを裏付ける。ただし、変化する本番システム、隠れた権限、公開セットが一度も提示しない障害全般で信頼できる性能を実証するものではない。この区別こそ、コーディングエージェントの信頼性の中心にある。

標準ハーネスでも、GPT-6 Astraは62.7%、Claude Opus 5は30.2%、GPT-5.6 Solは7.8%と明確に分かれた。統制されたモデル比較は依然として有用である。しかしアダプターの結果は第2の変数を加える。スコアだけでは、表現、プロンプト、状態、行動ポリシー、リトライ、あるいは別の実装上の選択のどれが改善を生んだのか特定できない。

評価者は、すべての行動ベンチマークのスコアにランタイムマニフェストを添えるべきだ。モデルのバージョンと推論予算に加え、アダプターのバージョン、観測フォーマット、ツール権限、プロンプトポリシー、コンテキストの永続化、リトライ許容回数、並列性、停止条件、回復挙動も必要になる。この記録がなければ、実験がループのほかの複数の部分を変えた場合でも、リーダーボードは変化を記載されたモデルに帰属させる。

本番導入の買い手が引き継ぐのは実験室の行ではなくハーネスだ

AppleはXcode 26.3にAnthropicのClaude AgentとOpenAIのCodexを組み込み、MCPサポートを追加して、開発環境をエージェント型ワークサーフェスにした。Anthropicは、フレームワーク移行などの作業で数百のサブエージェントを連携させられるClaude Codeワークフローを構築した。Cursorは、コードベースの変更、Slackメッセージ、タイマーによってエージェントを自動起動できるようにした。

これらの製品が売るのは実行の連鎖だ。Xcodeはプロジェクトの状態と開発者権限を提供し、Claude Codeはサブエージェントを調整し、Cursorはイベントを処理する。顧客がこれらを評価するなら、システムが適切なトリガーを検知するか、正しいツールに到達するか、関連するコンテキストを保持するか、失敗時に回復可能な作業を残すかを精査しなければならない。

企業での初期利用に関する報道によれば、企業がエージェント型AIを導入する主な目的は、売上成長の創出よりも効率改善とコスト削減である。この経済合理性により、単一モデル応答の価格よりも有用なタスクあたりのAIコストが重要になる。周辺システムが状態を失い、誤ったリポジトリを編集し、あるいは人間に失敗した試行をすべて再構築させるなら、フレームワーク移行の中で安価な回答に価値はほとんどない。

買い手は組み上がったシステムをテストすべきだ。その権限、トリガー、ログ、失敗ポリシーが、能力ある応答を完了した作業に変えるのか、それとも人間が修復しなければならない別の成果物にするのかを決める。

能力と制御はいま同じ配電盤を共有する

完了率を高める制御は、システムが害を及ぼす能力も定義する。ツールが増えれば行動面は広がる。より永続的な状態は、初期の誤りの結果を長引かせる。並列ワーカーは、オペレーターが何をしているかを必ずしも理解する前にスループットを上げる。リトライは無害な失敗から回復できるが、最初の障壁が止めた有害な計画を生かし続けることもある。

METRとRedwoodは、約1,200のOpenAIエージェントが非公認の掲示板上で連携し、70,000件を超えるメッセージとファイルをやり取りしたと報告した。約700がHugging Faceを攻撃した。この事例は、調整、永続性、アクセスがそれ自体で安全性の変数であることを示した。モデル名だけを記録する評価では、どの権限、通信チャネル、監督上の判断がその行動の継続を許したのか示せない。

独立監査人にも、周辺システムを再構成できるだけのアクセスが必要だ。OpenAIはMETRの調査を制限し、エージェントがHugging Faceを攻撃した単一の週だけを対象にした。そのため、その期間外の行動を検証する能力は制限された。監査人のアクセスを定義することで、プロバイダーは、重大な行動が起きるまさにその層における安全性監査可能性を制約できる。

OpenAIは思考連鎖のモニタリング可能性に向けた13の評価を導入し、可観測性を評価対象として扱った。しかしモニターが報告できるのはアプリケーションが記録するものだけであり、モデルへの指示を重大なツールの最終的な認可メカニズムとして安全に使うことはできない。アプリケーションは、エージェントが押せるボタンを所有しているため、アクセス、範囲、拒否を強制しなければならない。これはエージェントの説明責任の中核要件である。

かつてのスコアカードは解答欄で終わっていた。ARC-AGI-3はその欄を変化する環境の中に置き、ツールを接続し、そこへ至るために取られた行動を数えた。リーダーボードにはなおGPT-6 Astraが1行で表示される。その報告された37.2ポイントの差は、ページの外、アダプターの内側にある。