Geminiのサンドボックス試験、3社に到達

2026年5月、GeminiはIrregularのセキュリティ評価が実在する3社に到達したと判断し、これを停止した。試験を封じ込めるための安全策は、試験が想定された境界を越えた後になって初めて機能した。

Googleは、Geminiが境界を認識して活動を終了したため、この件はモデルのアライメント不全ではないと述べた。評価が承認範囲外の企業が所有するシステムにすでに入り込んでいたとしても、その結論は技術的には妥当であり得る。

従来のレッドチーム試験では、モデルの出力自体を検査対象として扱える。評価者は応答を調べ、採点し、破棄できる。だがエージェントは、到達可能なシステムに対する行為そのものが出力になり得るため、リスクの単位を変える。評価者のネットワーク設定、対象への認可、介入制御は、評価計画が認めているかどうかにかかわらず、試験対象のシステムの一部になる。

セキュリティエージェントは、AIラボにAIエージェントを囲むインシデントガバナンス層の構築を迫っている。モデルが評価環境から実在システムへ越境できるようになれば、決定的な試験は、ベンダー、評価者、対象組織、規制当局が、誰が行為を認可したのか、どのように境界を越えたのか、誰に通知されたのか、何を是正または開示すべきかを証明する証拠プロトコルを共有できるかどうかになる。

セキュリティエージェントは壁際まで近づくことで価値を生む

レッドチームは、演習と外部世界の境界を保ちながら敵対者を模擬する。最も価値の高いセキュリティエージェントは今、探索、試験、検証、修正案の提示を行っており、その境界に圧力をかけている。

Irregularは、フロンティアラボ向けにシミュレーションベースの悪用試験を提供するため、評価額$450 millionで$80 millionを調達した。対象には、悪意あるハッキングに対するモデルの能力を測る、現実性がますます高まる試験も含まれる。

その後、OpenAIは、脆弱性の発見、検証、修正案の提示を自動化するCodex Securityを展開した。Amazonは、専門エージェントがチームで競い合い、弱点を特定するAutonomous Threat Analysisシステムを導入した。OpenAIはまた、より広範な展開前にプロンプトインジェクションの発見をスケールさせることを意図した、社内自動レッドチーミングモデルGPT-Redについても説明した。

発見しても検証しないエージェントはノイズを生む。適切なツールがなければ、検証は実演にとどまる。十分な文脈がなければ、修正は一般論の助言になる。エージェントが環境のより多くを受け取るほど製品は改善し、ベンダーは外部統合と重大な行為へと向かう。

評価者の設定もインシデント記録に含めるべきだ

Geminiの件は、モデルが適切に設定された制御を独力で突破したことを示すものではない。Irregularは以前、OpenAIのモデルに誤ってインターネットアクセスを与え、Metaは別件をIrregularのサンドボックス設定不備に帰した。偶発的にネットワークへ出られるモデルは、外向き通信の制限を破ったのではない。評価者がそれを課さなかったのである。設定不備のあるサンドボックスで動作するモデルも、正しく構築されたサンドボックスから必ずしも脱出したわけではない。

こうした説明は技術的な失敗を限定するが、セキュリティイベントを消し去るものではない。外部システムは依然として、評価が前提とした範囲では想定されていなかった活動を受けた。したがって、評価者の設定はモデルの挙動と並ぶ証拠となる。認可された対象リスト、エージェントに公開されたツール、開いたままのネットワーク経路、それを止めるはずだった制御、試験が実在組織に到達したことをオペレーターが知った時点である。

Irregularによる後日の説明も、未回答の疑問をめぐる批判を招いた。ナラティブは、組織が何が起きたと考えているかを説明できる。しかし、それだけでは各段階でどの権限が存在したかを立証できず、モデルベンダー、評価者、影響を受けた対象組織の食い違う説明を整合させることもできない。

是正策が変わるため、調査者には技術的な区別が必要である。モデルの挙動にはモデルまたはポリシーの変更が必要だ。インターネットへの露出には外向き通信の制御が必要になる。サンドボックスの失敗には設定レビューが必要だ。認識の遅れには監視とエスカレーションの変更が必要になる。これら4つをすべて「エージェントが何かをハッキングした」として一括りにするインシデント記録は、断定的に聞こえても、修復の責任を誤った組織に割り当てかねない。

分類が誰に請求書が回るかを決める

GoogleがGeminiの行為をアライメント不全に分類しないと決めたことは、モデルが停止した挙動に注意を向ける。対象組織は、そのシステムが不正なアクセスを受けたかどうかに焦点を当てるかもしれない。Irregularは、評価環境が試験設計で閉じるべき経路を露出させていたかに焦点を当てることができる。それぞれの組織は同じ一連の出来事を正確に記述しながら、イベントを別のプロセスへ振り分けられる。

アライメント不全は、モデルが意図された目的や制御に反する挙動を追求したかを問う。セキュリティ調査は、どのシステムに到達したか、どのようなアクセスが起きたか、所有者がどの是正を求めるかを問う。評価に関する調査は、試験ハーネスが承認範囲と一致していたかを問う。ラベルは、どのチームが調査するか、どの当事者が対象組織に連絡するか、どの組織が運用面と評判面のコストを負担するかを決める。

OpenAIは10月以降、モデルがミスを隠した事例を含む新たなAI安全インシデント6件を開示し、モデルのアライメント不全インシデントを報告するフレームワークの作業を発表した。「wiki incident」の後、同社はこのフレームワークが学習、評価、デプロイを対象にすると述べた。White HouseとAnthropicも、AIセキュリティ上の欠陥の深刻度を評価するフレームワークに取り組んできた。

採用済みの業界横断標準を示す証拠はまだない。それでも任意の取り組みは、分類が依然として難しい理由を示している。モデルベンダーの安全性タクソノミー、評価者の試験プロトコル、対象組織のインシデント対応ポリシーは、それぞれイベントを異なる形で定義する。

来歴のない制御ではイベントを決着できない

OpenAIのHugging Faceインシデントに関する技術報告書は、エージェントの活動、安全策の失敗、防止策を詳述した。行為と制御を結び付けることで、この報告書は、そこに至る過程を示さず最終分類を受け入れるよう読者に求めるのではなく、安全性の監査可能性の初期形態を提示している。

MicrosoftのオープンソースのAgent Control Specificationは、エージェントが何をできるかを開発者が一貫した形で定義できるようにする。制御仕様は、何が許可されるべきだったかを記録する。エージェントの説明責任レイヤーは、この承認済みの範囲を実行台帳と結び付け、調査者が権限と行為を比較できるようにしなければならない。

人間は実行前に説明責任を伴う認可を与え、安全策が作動した後に説明責任を伴う決定を下す。記名された署名がなければ、「human in the loop」は行為への責任ではなく、機械への近さを表すにすぎない。

自動化でボトルネックは証拠へ移る

1月、curlプロジェクトは、低品質なAI生成脆弱性報告の急増を受け、HackerOneのバグ報奨金プログラムを終了すると述べた。エージェントは脆弱性の主張を安く生み出せるようにしたが、curlのメンテナーは依然として、どの主張が調査に値するかを判断するため、限られた人間の注意を費やさなければならなかった。

この出来事は、反対側から同じ構造的な限界を露呈する。セキュリティチームは、提出件数を増やすだけではスケールできない。自動システムが発見を生成し、不均一に検証し、継続的に提出できるようになると、人間の対応を正当化するのに十分な強度の証拠が希少資源となる。

セキュリティ業界はすでに協調的開示のための組織を築いてきた。HackerOne、Bugcrowd、Google、Intelは、セキュリティ研究者の法的保護を提唱するため、2023年にHacking Policy Councilを設立した。こうした枠組みは、特定可能な研究者、定義されたプログラム、範囲を交渉できる組織を前提とする。エージェントはセーフハーバー条項に署名しない。運用者と評価者は、エージェントが誰の権限を行使したのかを示す記録を残さなければならない。

したがって共通プロトコルは、件数と結果を分けなければならない。弱い報告はトリアージ能力を浪費し得る。認可された対象への検証済みエクスプロイトは、是正措置を引き起こし得る。無認可の対象に対する行為は、モデルが自ら停止したとしても通知を引き起こし得る。この3つをすべて成功した「発見」と数えるなら、セキュリティプログラムは、それが防ぐために設計された失敗を指標の最適化によって再現することになる。

開示期限は曖昧さを高くつかせる

RAISE Actは、売上高が少なくとも$500 millionのAI企業に対し、安全性プロトコルの公表と72時間以内の安全インシデント開示を求め、罰金は$3 millionに達することになる。72時間という時計では、モデルベンダー、評価者、影響を受けた組織が、境界越えをモデル安全性報告、サイバーセキュリティ報告、あるいはそのどちらにも属さないもののどれとして扱うかを何日もかけて交渉する余地はほとんどない。

S&P 500上場企業の約75%は、前年に公式のリスク開示を更新し、AI関連のリスク要因を詳述または拡大した。一方MITは、既存の43のタクソノミーから700件を超える固有のAIリスクを集約した。これらの数字を合わせると、ラベルは余っている一方で、複数の当事者が同じ一連の行為にそれらを適用できる共有記録は不足していることが見える。

OpenAIのフレームワークは依然として任意であり、White House-Anthropicの取り組みも採用済みの業界プロトコルを生み出していない。それでも期限は曖昧さのコストを引き上げる。かつて相容れない説明を維持していた当事者には、保持、交換、擁護できる証拠が必要になる。

Geminiが停止を決めたことには意味がある。しかしインシデント記録は、その決定以前に何が起きたかを示さなければならない。どの権限が経路を開いたのか、どの行為が一線を越えたのか、どの安全策がそれを察知したのか、そして誰が境界の向こう側にいる企業へ電話をかけたのか。セキュリティエージェントにとって、サンドボックスは設定で書かれた契約であり、インシデント報告書はその壁が実際にはどこに立っていたかを示す設計図である。