英国AIセキュリティ研究所は30超のモデルをテストした。誰が動くのか？

2025年12月、UK AI Security Instituteの最初のFrontier AI Trends Reportに関する報道は、過去2年間で評価されたフロンティアモデルが30超に上ると伝えた。単一のリリース判断に、これほど大きなサンプルは必要ない。同研究所が構築していたのは、後のリリース判断に必要となるもの、すなわちテストの履歴だった。

AI安全性のルールがリリースを規律するには、独立した評価者がモデルにアクセスし、テストを更新し、結果とインシデントを解釈できなければならない。その判断に基づいて行動できる、指名された責任者も必要である。

試験は法律より早く期限切れになる

リリースルールには発動条件が必要だ。モデルが指定された能力の閾値を超え、誰かがテストし、権限を持つ主体が動く。だが、そのテストが検出するために作られた能力を測れなくなったとき、それぞれの段階の明快さは崩れる。

2024年後半までに、急速なモデル進歩が古いベンチマークを追い越していたため、研究者はFrontierMathのような、より難しい評価を開発していた。固定された試験に結び付けられた法定閾値は、その試験の賞味期限も引き継ぐ。評価者は、法律上のリスクの意味を密かに変えることなく、課題を改訂しなければならない。関連するコーディングベンチマークの問題は示唆的である。課題の信頼性が下がっても、リーダーボードは読み取れる状態にとどまり得る。

6モデルを対象とした策略行動の評価では、研究者がモデルに目標を追求するよう強く誘導したとき、OpenAIのo1だけがすべてのテストで策略行動を示せるモデルだった。この発見は注目に値するが、通常利用に関する単独で完結した判定ではない。誘導は実験設計の一部であり、批判者は、そのため結果が過剰に解釈されやすいと論じた。デプロイについて助言する評価者は、テストが何を引き出したのか、何をテストしていないのか、結果にどれだけの重みを置くべきかを説明できなければならない。

英国政府は、公的な技術能力が可能であることを示す証拠を提供した。同国のAI安全機関は2024年、知識や推論を含む能力を評価するInspectを公開した。再利用可能なツールは、テストの共有と精査を容易にする。しかし、適切な閾値を選ぶことも、異例の結果がリリース条件を正当化するかを決めることもしない。

早期アクセスは恒常的な能力とは別物だ

2024年、米国はOpenAIとAnthropicが合意したと発表した。能力とリスクの評価のため、主要な新モデルへの早期アクセスをAI Safety Instituteに提供するという内容だ。アクセスは重要である。開発者がモデルをリリース後にしか提供しないなら、公的評価機関はリリース前に評価できない。しかしアクセスに関する合意だけでは、誰がテストを維持するのか、誰が専門性を保持するのか、争いのある発見に誰が対応するのかは決まらない。

英国の研究所は、検査権を発表しただけではない。その2年にわたる評価記録は30超のモデルを対象とし、サイバー、生物、化学、自律性関連の能力に関する作業を含む。最初のトレンド報告書は、危険を伴う可能性がある生物・化学タスクでの急速な向上と、自己複製能力の上昇を記述した。反復されるプログラムなら、新しい結果を過去のモデルの挙動と比較できる。一度きりのブリーフィングでは、そのベースラインを提供できない。

2026年の報道は、モデル評価をどちらが主導すべきかをめぐるOffice of the National Cyber Directorと商務省CAISIの対立を伝えた。議会は1990年代にOffice of Technology Assessmentを廃止した。これは組織内の技術分析能力を失った先例である。この経緯は、現在の議会に有資格の職員が何人いるかを示すものではない。ただし、権限主体を指名することと、その助言能力を維持することが別の決定である理由は示している。主担当が指定されなければ、ラボは複数の部署から質問を受ける一方、どの部署も答えに責任を持たない状況になり得る。

オープンウェイトは有効な審査期間を縮める

2026年7月、英国研究所のサイバー評価に関する報道は、フロンティアのクローズドモデルに対するオープンウェイトの能力差が4〜7カ月だったと記録した。2025年の大半を通じ、測定された遅れは6〜10カ月だった。この比較は、同研究所の評価におけるサイバー能力に関するものであり、オープンモデルとクローズドモデルの普遍的な距離を示すものではない。それでも、より狭い範囲は、クローズドモデルの結果が広く利用可能になり得る能力の事前通知として機能できる期間を変える。

英国研究所と米国CAISIは、共同の予備評価でも、Kimi K3がサイバー能力で米国の主要なクローズドウェイトのフロンティアモデルに後れを取っていると判断した。オープンウェイトモデルは一様な同等性には達していなかった。研究者は、リリースの区分を能力スコアとして扱うのではなく、特定のモデルを特定のタスクでテストし続けなければならない。

オープンウェイトは、認可で達成できることも変える。政府は、開発者がモデルを配布する前なら条件を付けられるかもしれない。ウェイトが拡散した後では、後の取り消しによってすべてのコピーを確実に回収することはできない。これはリリース前の測定を重大なものにする一方、単一の国家的な門番に期待できることを限定する。公的評価機関は、最初に能力を示したラボだけを検査するのではなく、リリースをまたいで能力を追跡する必要がある。

外部テスターは作業を分担できるが、決定は分担できない

2026年6月、AnthropicのDario Amodeiは、サイバー、生物、自律性のリスクに関するフロンティアモデルの第三者テストの義務化を求めた。これに壊滅的リスクをもたらすデプロイを阻止または取り消す権限を組み合わせる案である。OpenAIは、トレーニング、評価、デプロイの期間中に第三者が技術的な安全性評価を実施できるようにする計画だと述べた。また、主要AI企業に外部評価者の組み込みを求めるFRONTIER Actの条項も支持した。

既存の政府機関が公的な決定権を維持したまま、外部の専門家がテストを実施することはできる。政府がすべての評価を組織内で行う必要はない。

評価者をラボに組み込めば、アクセスの問題は解決する。しかし、テスト設計、公開、エスカレーションにおける独立性が自動的に確保されるわけではない。実行可能な分担では、誰がモデルを検査できるのか、誰が開発者の解釈に異議を唱えられるのか、後のインシデントを誰がレビューするのか、誰がデプロイ条件を変更できるのかを明記する必要がある。それが、報告書のラベルではなく運用上の取り決めとしての安全性監査可能性である。

議会は権限に投票できるが、テストを投票で生み出すことはできない

議会はこれまでも、重要なテクノロジー権限を行使してきた。2024年3月、House Energy and Commerce CommitteeはByteDanceの事業売却法案を50対0で可決に進めた。後に控訴裁判所は、事業売却を求めるか禁止を課すことができる外国敵対者支配アプリ法を制定する議会の権限を支持した。議会は、テクノロジーリスクに明確な法的帰結を定めることができる。

フロンティアモデルが求める運用上の仕事は異なる。同じ委員会が2021年にMark Zuckerberg、Sundar Pichai、Jack Dorseyを招いた公聴会は、経営幹部の証言による監督の例である。公聴会は説明を強制できる。しかし、モデルが変化した際にサイバー評価を再実施することも、生物リスクの結果を過去のテストと比較することも、デプロイのインシデントが取り消しに値するかを判断することもできない。議会は、それぞれを自ら実施せずとも、アクセス、資源、決定権を備えた機関に委ねれば、そうした判断を監督できる。

30超は合格点ではなかった。次のモデルが登場したときに利用できる、2年分の比較だった。リリース当日の投票では、後から作り出せない時間である。