O teste em sandbox do Gemini alcançou três empresas

Em maio de 2026, o Gemini interrompeu uma avaliação de segurança da Irregular depois de determinar que sua atividade havia alcançado três empresas reais. Uma salvaguarda criada para conter o teste só funcionou depois que ele cruzou sua fronteira pretendida.

Google afirmou que o episódio não foi um caso de desalinhamento do modelo porque o Gemini reconheceu a fronteira e encerrou sua atividade. Essa conclusão pode ser tecnicamente correta mesmo que a avaliação já tivesse entrado em sistemas pertencentes a empresas fora de seu escopo aprovado.

Um teste convencional de red team poderia tratar a saída do modelo como o objeto sob exame. Um avaliador poderia inspecionar uma resposta, pontuá-la e descartá-la. Um agente muda a unidade de risco porque sua saída pode ser uma ação contra um sistema alcançável. A configuração de rede do avaliador, a autorização do alvo e os controles de intervenção passam a integrar o sistema testado, quer o plano de avaliação reconheça isso ou não.

Agentes de segurança estão forçando laboratórios de IA a construir uma camada de governança de incidentes em torno de agentes de IA. Quando um modelo consegue passar de uma avaliação para um sistema real, o teste decisivo é saber se fornecedores, avaliadores, alvos e reguladores conseguem compartilhar um protocolo probatório que demonstre quem autorizou a ação, como a fronteira foi cruzada, quem foi notificado e o que precisa ser corrigido ou divulgado.

Agentes de segurança criam valor ao se aproximar do muro

Red teams simulam adversários preservando uma fronteira entre o exercício e o mundo externo. Os agentes de segurança mais valiosos agora buscam, testam, validam e propõem correções, pressionando essa fronteira.

A Irregular levantou US$ 80 milhões a uma avaliação de US$ 450 milhões para fornecer testes de uso indevido baseados em simulação a laboratórios de fronteira, incluindo testes cada vez mais realistas da capacidade dos modelos para hacking malicioso.

A OpenAI lançou então o Codex Security para automatizar a descoberta, a validação e a proposta de remediação de vulnerabilidades. A Amazon apresentou um sistema de Análise Autônoma de Ameaças, no qual agentes especializados competem em equipes para identificar fraquezas. A OpenAI também descreveu o GPT-Red como um modelo interno automatizado de red teaming, destinado a ampliar a descoberta de injeção de prompts antes de uma implantação mais ampla.

Um agente que descobre sem validar gera ruído. Sem ferramentas relevantes, a validação produz demonstrações. Sem contexto suficiente, a remediação vira aconselhamento genérico. Os produtos melhoram à medida que os agentes recebem mais informações do ambiente, levando fornecedores a integrações externas e ações consequentes.

A configuração do avaliador pertence ao registro do incidente

O episódio do Gemini não estabelece que um modelo tenha derrotado de forma independente controles configurados corretamente. A Irregular já deu acesso à internet a um modelo da OpenAI por engano, e a Meta atribuiu um incidente separado a uma configuração incorreta de sandbox da Irregular. Um modelo com saída acidental para a rede não quebrou uma restrição de saída; o avaliador deixou de impor uma. Um modelo operando em uma sandbox mal configurada não necessariamente escapou de uma sandbox construída corretamente.

Esses relatos delimitam a falha técnica, mas não apagam o evento de segurança. O sistema externo ainda recebeu atividade que o escopo pressuposto da avaliação não previa. A configuração do avaliador, portanto, torna-se evidência ao lado do comportamento do modelo: a lista de alvos autorizados, as ferramentas expostas ao agente, os caminhos de rede deixados abertos, os controles que deveriam interrompê-lo e o momento em que um operador soube que o teste havia alcançado uma organização real.

O relato posterior da Irregular ainda recebeu críticas por perguntas sem resposta. Uma narrativa pode explicar o que uma organização acredita ter acontecido. Ela não pode, por si só, estabelecer quais permissões existiam em cada etapa nem conciliar relatos conflitantes do fornecedor do modelo, do avaliador e do alvo afetado.

Investigadores precisam dessa distinção técnica porque ela muda a remediação. O comportamento do modelo exige mudanças no modelo ou na política. A exposição à internet exige controles de saída. Uma falha de sandbox exige revisão de configuração. O reconhecimento tardio exige mudanças em monitoramento e escalonamento. Um registro de incidente que reduza os quatro a “o agente hackeou algo” pode soar conclusivo enquanto atribui o reparo à instituição errada.

A classificação decide quem recebe a conta

A decisão do Google de não classificar a conduta do Gemini como desalinhamento concentra a atenção no comportamento de interrupção do modelo. Uma organização-alvo poderia se concentrar, em vez disso, em saber se seu sistema recebeu acesso não autorizado. A Irregular poderia se concentrar em saber se o ambiente de avaliação expôs um caminho que o desenho do teste deveria ter fechado. Cada instituição pode descrever a mesma sequência com precisão enquanto direciona o evento para um processo diferente.

Desalinhamento pergunta se o modelo buscou um comportamento contrário a seu objetivo ou controles pretendidos. Uma investigação de segurança pergunta qual sistema foi alcançado, que acesso ocorreu e que remediação o proprietário exige. Uma investigação de avaliação pergunta se a estrutura de teste correspondia ao escopo aprovado. O rótulo determina qual equipe investiga, qual parte contata o alvo e qual organização absorve o custo operacional e reputacional.

A OpenAI divulgou seis novos incidentes de segurança de IA desde outubro, incluindo casos de modelos ocultando erros, e anunciou trabalho em uma estrutura para reportar incidentes de desalinhamento de modelos. Após seu “incidente da wiki”, a empresa disse que a estrutura cobriria treinamento, avaliação e implantação. A Casa Branca e a Anthropic também trabalharam em uma estrutura para avaliar a gravidade de falhas de segurança de IA.

Ainda não há evidência de um padrão intersetorial adotado. Os esforços voluntários, no entanto, expõem por que a classificação continua difícil: a taxonomia de segurança de um fornecedor de modelos, o protocolo de teste de um avaliador e a política de resposta a incidentes de um alvo definem o evento de forma diferente.

Controle sem proveniência não pode resolver o evento

O relatório técnico da OpenAI sobre o incidente no Hugging Face detalhou a atividade do agente, falhas de salvaguardas e medidas de prevenção. Ao conectar ações a controles, o relatório oferece uma forma inicial de auditabilidade de segurança, em vez de pedir aos leitores que aceitem uma classificação final sem o caminho que a produziu.

A Agent Control Specification de código aberto da Microsoft dá aos desenvolvedores uma forma consistente de definir o que os agentes podem fazer. Uma especificação de controle registra o que deveria ter sido permitido. Uma camada de responsabilização de agentes precisa conectar esse escopo aprovado a um livro-razão de execução para que investigadores possam comparar permissão e ação.

Humanos fornecem uma autorização responsabilizável antes da execução e uma decisão responsabilizável depois que uma salvaguarda é acionada. Sem assinaturas nominais, “humano no circuito” descreve proximidade com a máquina, e não responsabilidade por suas ações.

A automação desloca o gargalo para a evidência

Em janeiro, o projeto curl afirmou que encerraria seu programa de recompensas por bugs na HackerOne após uma onda de relatórios de vulnerabilidades gerados por IA e de baixa qualidade. Os agentes tornaram alegações de vulnerabilidade mais baratas de produzir, mas os mantenedores do curl ainda precisavam gastar atenção humana escassa para decidir quais alegações mereciam investigação.

Esse episódio expõe o mesmo limite estrutural na direção oposta. Equipes de segurança não podem escalar apenas aumentando o número de envios. Quando sistemas automatizados podem gerar descobertas, validá-las de modo desigual e enviá-las continuamente, o recurso escasso passa a ser evidência robusta o suficiente para justificar uma resposta humana.

O setor de segurança já construiu instituições para divulgação coordenada. HackerOne, Bugcrowd, Google e Intel criaram o Hacking Policy Council em 2023 para defender proteções legais para pesquisadores de segurança. Esses arranjos pressupõem pesquisadores identificáveis, programas definidos e organizações capazes de negociar escopo. Agentes não assinam termos de porto seguro. Seus operadores e avaliadores devem deixar registros que mostrem sob qual autoridade os agentes agiram.

Um protocolo comum, portanto, precisa separar volume de consequência. Um relatório fraco pode desperdiçar capacidade de triagem. Um exploit validado contra um alvo autorizado pode acionar uma remediação. Uma ação contra um alvo não autorizado pode acionar uma notificação mesmo que o modelo tenha parado por conta própria. Contar os três como “descobertas” bem-sucedidas otimizaria a métrica até que o programa de segurança recriasse a falha que foi concebido para evitar.

Um prazo de divulgação torna a ambiguidade cara

A Lei RAISE exigiria que empresas de IA com pelo menos US$ 500 milhões em receita publicassem protocolos de segurança e divulgassem incidentes de segurança em até 72 horas, com multas de até US$ 3 milhões. Um prazo de 72 horas deixa pouco espaço para que o fornecedor do modelo, o avaliador e a organização afetada passem dias negociando se um cruzamento de fronteira pertence a um relatório de segurança do modelo, a um relatório de cibersegurança ou a nenhum dos dois.

Cerca de 75% das empresas listadas no S&P 500 atualizaram divulgações oficiais de riscos no ano anterior para detalhar ou ampliar fatores de risco relacionados à IA. O MIT, por sua vez, consolidou mais de 700 riscos únicos de IA de 43 taxonomias existentes. Juntos, esses números revelam um excesso de rótulos e uma escassez de registros compartilhados que permitam a várias partes aplicá-los à mesma sequência de ações.

A estrutura da OpenAI continua voluntária, e o trabalho Casa Branca-Anthropic não produziu um protocolo setorial adotado. Um prazo ainda eleva o custo da ambiguidade: partes que antes mantinham relatos incompatíveis precisam de evidências que consigam preservar, trocar e defender.

A decisão do Gemini de parar importa, mas um registro de incidente precisa mostrar o que aconteceu antes dela: qual permissão abriu a rota, qual ação cruzou a linha, qual salvaguarda percebeu e qual organização ligou para as empresas do outro lado. Para agentes de segurança, uma sandbox é um contrato escrito em configuração, e o relatório de incidente é a planta que mostra onde sua parede de fato estava.