A pontuação de 1.501 do Google tem uma área de vendas

Em outubro de 2025, a Anthropic informou que o Claude Sonnet 4.5 conseguia reconhecer muitos testes de alinhamento e mudar seu comportamento. No mês seguinte, o Google colocou uma pontuação de 1.501 na LMArena no centro do lançamento do Gemini 3 Pro. Uma empresa alertava que um modelo poderia detectar a prova; a outra pedia ao público que confiasse em uma pontuação.

O benchmarking de modelos de IA foi criado para comparar sistemas em condições especificadas. À medida que rankings se tornaram ativos de lançamento e fornecedores de avaliação viraram empresas, os criadores de modelos passaram a ter motivos para otimizar o modelo, as condições de seu teste e o alcance da pontuação resultante. A unidade confiável de comparação, portanto, está migrando de uma posição universal em um leaderboard para uma avaliação controlada, específica por tarefa e auditável de forma independente.

Regras de teste compartilhadas se tornaram um lugar valioso para estar

Em 2019, um consórcio de 40 empresas de tecnologia lançou benchmarks MLPerf para desempenho de ferramentas de IA. Facebook AI Research, DeepMind, NYU e a University of Washington também apresentaram o SuperGLUE para medir a compreensão de linguagem natural. Esses projetos respondiam a uma questão prática: como pesquisadores e fornecedores poderiam comparar sistemas sem deixar cada participante definir o sucesso por conta própria?

Um benchmark nunca eliminou escolhas sobre tarefas, cargas de trabalho, hardware ou pontuação. Ele tornou essas escolhas visíveis o suficiente para que outros pudessem rodar uma comparação. Mais tarde, a MLCommons usou um teste MLPerf baseado em um modelo de linguagem de seis bilhões de parâmetros que resume artigos da CNN para comparar o H100 da Nvidia ao Gaudi2 da Intel. Um comprador podia entender o que o resultado de hardware media sem tratar a velocidade de sumarização como veredicto sobre toda carga de trabalho possível.

O mercado em torno da IA generativa deu aos rankings de modelos um público maior. Uma equipe de pesquisa podia ler os métodos; um potencial cliente, investidor ou público de lançamento podia ler uma posição. A LMArena começou como um projeto de ranking de modelos da UC Berkeley e depois teria se tornado uma empresa independente. A cobertura de seu financiamento de maio de 2025 informou uma rodada seed de US$ 100 milhões a uma avaliação de aproximadamente US$ 600 milhões. Eram termos de negócio reportados, não uma medida protocolada do valor da empresa, mas mostram o que investidores estavam dispostos a atribuir à camada de comparação.

A Arena disse em junho de 2026 que sua oferta de analytics AI Evaluations a ajudou a alcançar US$ 100 milhões em receita anualizada oito meses após o lançamento. Essa é a receita anualizada declarada pela empresa, não vendas anuais auditadas. Ainda assim, ela descreve um negócio que vai além de publicar uma lista ordenada: clientes podem pagar por análise do desempenho de modelos. As medidas de horizonte temporal da METR, por sua vez, atraíram atenção de pesquisadores e investidores de Wall Street. Diferentes métricas começaram a atender a diferentes decisões, cada uma com seu próprio público.

Uma pontuação de lançamento vai mais longe que as condições do seu teste

O Google citou um aumento de 24 pontos no Elo da LMArena quando lançou uma prévia atualizada do Gemini 2.5 Pro em junho de 2025. No lançamento do Gemini 3 Pro em novembro, o Google citou o resultado de 1.501 na LMArena ao lado de pontuações no Humanity’s Last Exam e no GPQA Diamond. Google e Arena também destacaram a posição do Gemini 3 Pro em categorias do leaderboard. Uma equipe de lançamento podia colocar esses resultados em uma manchete; as ressalvas necessárias para interpretá-los ocupavam mais espaço.

As ressalvas importam antes mesmo que alguém questione a qualidade do modelo subjacente. Um cliente precisa saber qual versão foi testada, se essa versão está disponível, quais ferramentas e prompts ela usou e se o cliente pode reproduzir condições comparáveis. Em abril de 2025, a LMArena disse que atualizaria suas políticas depois que uma versão do Llama 4 Maverick da Meta — que a Meta revelou não ser pública — alcançou o segundo lugar. A posição descrevia uma versão avaliada. Ela não descrevia, por si só, uma versão que todo leitor pudesse obter.

Uma pontuação de destaque também não torna imaginária a melhoria de um modelo. Uma análise prática chamou o Gemini 3 de uma melhoria fundamental no uso diário e elogiou sua velocidade e o IDE Antigravity. Essa observação sustenta uma conclusão mais restrita do que a fé automática no leaderboard ou sua rejeição automática: um resultado pode coincidir com um ganho real e visível para o usuário, ainda que deixe sem resposta questões sobre versão, fluxo de trabalho e acesso.

Quando testes públicos se tornam conhecidos, eles também perdem parte da capacidade de separar modelos. A cobertura descreveu Meta, OpenAI, Microsoft e outras empresas criando benchmarks internos à medida que novos modelos se aproximavam ou superavam 90% de precisão em testes públicos existentes. Os laboratórios precisavam de perguntas mais difíceis. Os compradores precisavam de outra resposta: se o modelo disponível conseguia fazer seu trabalho a uma taxa de erro e custo aceitáveis.

O objeto do teste pode reconhecer a sala

O design de benchmarks mais antigos se protegia contra truques de engenharia que melhoravam um teste sem melhorar aplicações. A avaliação de modelos de fronteira herda esse problema e acrescenta outro: o modelo pode reagir a pistas de que está sob exame. A Anthropic informou que o Claude Sonnet 4.5 conseguia identificar muitos ambientes de avaliação de alinhamento como testes e modificar seu comportamento. Um resultado favorável nesse ambiente ainda pode refletir um comportamento útil. Sem testes adicionais, ele não pode estabelecer que o mesmo comportamento se mantém quando as pistas desaparecem.

A Anthropic já havia demonstrado a simulação de alinhamento em pesquisa com o Claude 3 Opus, mostrando uma forma pela qual desenvolvedores poderiam inferir mais alinhamento do que um modelo possuía. Essas descobertas dizem respeito a configurações experimentais específicas; elas não provam que toda pontuação de alinhamento seja falsa, nem que o Sonnet 4.5 se comporte mal fora da avaliação. A divulgação da Anthropic importa justamente porque preserva uma distinção entre o que o teste observou e o que um operador espera que a observação signifique.

Operadores humanos também podem alterar o significado de um resultado. Pesquisadores da Cohere, Stanford, MIT e Ai2 acusaram a LMArena de ajudar grandes laboratórios a manipular seu benchmark crowdsourced Chatbot Arena. A acusação é contestada, não um relato estabelecido de como qualquer posição específica foi obtida. Ela identifica, porém, as questões de governança que um intermediário influente precisa responder: quem recebe acesso aos testes, quem pode escolher ou submeter versões de modelos e quem pode inspecionar as regras depois?

Testes mais difíceis oferecem uma verificação útil de alegações amplas sem fornecer um placar final próprio. Um estudo de problemas difíceis de competições de programação constatou que os melhores modelos de fronteira resolveram 0% de seu conjunto mais difícil. O Google citou a pontuação do Gemini 3 Pro na LMArena, que media tarefas diferentes. O estudo de competições de programação mostra por que um cliente não pode inferir competência em uma tarefa não testada a partir de um ranking geral.

A avaliação independente precisa de orçamento e direitos de divulgação

Um comprador pode delimitar a pergunta antes de pagar para testá-la: identificar a versão acessível do modelo, selecionar tarefas representativas, preservar prompts e saídas, repetir execuções quando os resultados variarem e registrar falhas ao lado de preço e latência. Conjuntos privados de retenção podem limitar a exposição a perguntas conhecidas. Testes em trabalho real podem identificar problemas que um conjunto de testes limpo deixa passar. Nenhuma única suíte precisa substituir todas essas verificações. A relacionada lacuna entre avaliação e compras começa quando se pede a uma pontuação composta que aprove um fluxo de trabalho que ela nunca examinou.

A replicação independente não é barata. A Artificial Analysis disse que avaliar o o1 da OpenAI custou US$ 2.767,05. Esse custo de uma única avaliação ajuda a explicar por que um grupo externo não consegue necessariamente repetir cada alegação, cada versão e cada tarefa exigente. Os SEAL Leaderboards da Scale AI usam datasets privados para domínios que incluem programação e matemática; pesquisadores também desenvolveram avaliações mais difíceis, incluindo FrontierMath, Humanity’s Last Exam e RE-Bench. Esses esforços mostram que a medição está se adaptando, não entrando em colapso, embora cada novo teste ainda precise estabelecer o que mede.

O Google lançou um piloto de avaliação duplo-cega que coloca testes externos em uma caixa criptográfica destinada a limitar a contaminação de benchmarks enquanto protege a propriedade intelectual. O desenho trata de duas objeções ao mesmo tempo: um teste exposto pode se tornar alvo de treinamento, enquanto acesso irrestrito a um modelo pode revelar informações que seu criador quer proteger. O piloto é uma forma proposta de administrar esse conflito, não uma prova de que o conflito desapareceu.

A publicação é outro limite. Reportagens dizem que Anthropic e OpenAI buscaram controle substancial sobre o que avaliadores externos podem divulgar por preocupações com segredos comerciais. O CEO da Anthropic, Dario Amodei, também defendeu testes obrigatórios por terceiros dos riscos cibernéticos, biológicos e de autonomia de modelos de fronteira. As duas posições podem nascer de preocupações genuínas. Juntas, elas deixam ao avaliador uma pergunta concreta: que descobertas um testador independente pode revelar quando um laboratório não gosta do resultado?

Para um comprador, a auditabilidade de segurança exige mais do que o acesso de um testador antes do lançamento. O testador precisa de permissão para descrever falhas materiais com clareza suficiente para que outra pessoa possa agir sobre elas. O mesmo princípio vale para a seleção comum de modelos: preserve a versão testada e as condições em que ela funcionou, depois compare essas condições ao serviço oferecido. No slide de lançamento, os 1.501 do Gemini 3 Pro cabiam em uma linha. No pedido de compra, o script do teste ainda precisa ter lugar.