Artificial Analysis baseou 60% do Intelligence Index v5 em conjuntos de testes privados ou respostas retidas. Fabricantes de modelos podem citar seus rankings em público; compradores não conseguem repetir de forma independente boa parte do teste.

Principais pontos

  • A Artificial Analysis lançou o Intelligence Index v5 em 28 de outubro de 2026, acrescentando benchmarks de programação e ciência.
  • O FrontierCode 2.0 usa 132 tarefas privadas em repositórios reais de código aberto e atribui zero a uma submissão quando uma verificação bloqueante falha.
  • A Mistral disse que o Large 4 usou 82.000 tokens de saída por tarefa de programação, 39% menos que sua versão preview.
  • A Artificial Analysis disse que sua avaliação do o1 da OpenAI custou US$ 2.767,05.
  • A Cyber Index Alliance foi lançada com Collinear, IBM, Nvidia e Vercel em 29 de setembro de 2026.

A OpenAI lançou o Evals em 2023 para que usuários pudessem relatar deficiências em seus modelos. Mais tarde naquele ano, a AWS apresentou o Bedrock Model Evaluation em preview, com testadores humanos para ajudar empresas a avaliar modelos antes de usá-los. Um score ajudava a reduzir um campo lotado; testar uma implantação em potencial continuava sendo um trabalho separado.

Uma classificação agora ajuda a definir o mercado que mede

A Artificial Analysis construiu seu Intelligence Index como um composto de capacidades em tarefas destinadas a refletir o uso no mundo real. Sua quinta versão acrescentou benchmarks de programação e ciência. Escolher essas tarefas faz mais do que ordenar modelos: determina quais melhorias podem elevar um fornecedor na tabela e, portanto, quais melhorias um fornecedor tem motivo para enfatizar em um lançamento.

A Mistral, por exemplo, posicionou o Large 4 frente a outros modelos abertos usando o Coding Agent Index separado da Artificial Analysis. Seu caso também incluiu eficiência de tokens: 82.000 tokens de saída por tarefa, 39% menos que a versão preview. Um agente que conclui uma tarefa com menos tokens pode ocupar um lugar diferente no orçamento de um comprador mesmo quando seu score de capacidade parece semelhante. O índice de programação e o Intelligence Index geral respondem a perguntas relacionadas, mas não idênticas.

A Artificial Analysis tornou essa distinção visível em sua comparação do Gemini 4 Hydrogen. O Hydrogen quase igualou Claude Sonnet 5.5 e GPT-6.1 Sol no Intelligence Index, custando cerca de um terço do Sonnet e aproximadamente 2,5 vezes mais que o Sol. Um comprador escolhendo entre os três ainda precisaria saber quais tarefas importavam, mas a comparação tornou impossível ignorar o preço de um empate técnico.

Um fornecedor de modelos se beneficia quando um avaliador externo fornece a classificação; a alegação tem mais peso do que o próprio teste do fornecedor. O avaliador, por sua vez, decide quais tarefas entram no composto e como a capacidade se relaciona com preço e uso de tokens. A fita métrica passou a ter voz no que o mercado chama de progresso.

Testes públicos perderam poder de discriminação antes de testes privados ganharem autoridade

Em 2024, Meta, OpenAI, Microsoft e outras empresas desenvolveram benchmarks internos à medida que os modelos se aproximavam ou superavam 90% de precisão em testes públicos consolidados. Quando muitos concorrentes passam na mesma prova, mais um ponto diz menos a um comprador sobre o trabalho que um modelo realmente consegue fazer. A exposição repetida também dá aos desenvolvedores oportunidades para treinar em função de um teste, seja diretamente ou pela circulação mais ampla de suas perguntas e respostas.

A Artificial Analysis respondeu no Intelligence Index v5 baseando 60% do composto em conjuntos de testes privados ou respostas retidas — a primeira vez que uma maioria teve esse status. Seu componente FrontierCode 2.0 usa 132 tarefas privadas em repositórios reais de código aberto. Ele pergunta se um mantenedor incorporaria a alteração de um agente e atribui zero se uma verificação bloqueante falhar. Essa regra testa a alteração enviada contra um limiar operacional, e não apenas se o agente produziu código plausível.

Outros avaliadores fizeram escolhas relacionadas sem chegar a um único desenho padrão. A Scale AI usou conjuntos de dados privados em seus SEAL Leaderboards. O Google testou avaliações externas duplo-cegas em uma caixa criptográfica, buscando proteger os testes contra contaminação enquanto protegia a propriedade intelectual dos modelos. Ambas as abordagens restringem o que os participantes podem ver, mas atribuem custódia e acesso de formas diferentes.

O sigilo tem um custo. Um observador externo não consegue reproduzir integralmente um resultado construído sobre tarefas ou respostas retidas; precisa, em vez disso, avaliar como o avaliador projetou, protegeu, executou e pontuou o teste. O Index colocou o líder três pontos acima do principal modelo de pesos abertos ainda não lançado na v4.3 e 12 pontos acima dele na v5. Um regime de medição revisado pode alterar uma diferença, além de revelá-la. Os compradores não dispõem, na cobertura citada, de pesos comparáveis dos componentes da v4.3 para separar esses efeitos.

O endereço de hospedagem deve acompanhar o nome do modelo

A Artificial Analysis encontrou desempenho inconsistente entre provedores de hospedagem para o gpt-oss-120b e outros modelos de pesos abertos. Um comprador não pode transportar um resultado de um provedor para outro apenas porque ambos oferecem os mesmos pesos. O serviço implantado também tem uma versão de API, configurações de inferência, latência e uma conta a pagar. A comparação da Artificial Analysis sobre o Gemini mostra por que o custo pertence à mesma discussão que a capacidade; o resultado sobre hospedagem mostra por que até mesmo um número de capacidade cuidadosamente medido precisa de um endereço.

Para a adoção de IA empresarial, compradores precisam registrar as condições sob as quais chamam um modelo e testar o trabalho que esperam que ele execute. Devem acompanhar o custo por tarefa útil, em vez do preço por token isoladamente: novas tentativas, saídas longas e trabalho malsucedido podem mudar a comparação. A avaliação assistida por humanos do Bedrock, da AWS, tratou parte desse problema no ponto de uso. Ela não tornou desnecessário um leaderboard geral; deu ao comprador um teste diferente para executar depois de consultar um.

A Artificial Analysis deu outro passo em direção à avaliação específica por tarefa com a Cyber Index Alliance. Collinear, IBM, Nvidia e Vercel se juntaram a ela para avaliar se agentes de IA poderiam encontrar e corrigir vulnerabilidades. Diferentemente de uma classificação geral de inteligência, a Alliance precisa testar se um agente conserta software: uma descrição convincente de vulnerabilidade não basta, e uma correção proposta precisa sobreviver às verificações no sistema que altera. Os parceiros trazem conhecimento operacional relevante. Sua participação também torna importante saber quem projetou as tarefas, quem forneceu o acesso e quem poderia influenciar a publicação dos resultados.

O avaliador precisa tornar evidências confidenciais passíveis de escrutínio

A Artificial Analysis disse que avaliar o o1 da OpenAI custou US$ 2.767,05. Execuções de raciocínio mais caras dificultam que grupos independentes repitam todas as comparações, especialmente quando um score depende de muitas tarefas e configurações. Uma pesquisa com 400 algoritmos apresentados em grandes conferências constatou que apenas 6% incluíam código e 30% incluíam dados de teste. Essa pesquisa trata de replicação em pesquisa, não de um provedor específico de benchmark, mas mostra com que facilidade um resultado pode circular sem os materiais necessários para verificá-lo.

O Center for Research on Foundation Models, de Stanford, tratou a divulgação como algo a medir em seu Foundation Model Transparency Index. Ele avaliou 10 desenvolvedores em relação a 100 indicadores; Llama 2 obteve 54%, GPT-4 48% e PaLM 2 40%. Stanford avaliou desenvolvedores de modelos, e não os custodians de benchmarks. Um desenvolvedor pode divulgar pouco sobre um modelo enquanto um avaliador divulga pouco sobre o teste, deixando o leitor com duas lacunas separadas a preencher.

A OpenAI disse em setembro de 2026 que planeja permitir avaliações técnicas de segurança por terceiros durante treinamento, avaliação e implantação. A proposta trata de testes de segurança, não de uma garantia de que pessoas externas possam auditar todos os índices de capacidade. Ainda assim, ela coloca os termos de acesso em discussão. Um avaliador que usa tarefas privadas pode divulgar o procedimento de seleção das tarefas, a rubrica de pontuação, a versão do modelo, as condições de acesso, as configurações de amostragem, os custos e os conflitos sem publicar o gabarito. Um revisor independente pode então examinar uma trilha de evidências controlada em vez de depender apenas da classificação. A questão mais restrita de quem pode inspecionar essa trilha — e o que pode dizer sobre ela — é o problema da proveniência da avaliação.

Nenhuma prova única pode substituir uma decisão de implantação

O SEAL Showdown da Scale AI pede a colaboradores em mais de 100 países que votem sobre a usabilidade cotidiana dos modelos. Seus julgamentos revelam experiências que uma tarefa privada de programação pode não captar, embora popularidade e conclusão de tarefas meçam coisas diferentes. O AILuminate da MLCommons usa mais de 12.000 prompts para avaliar a segurança de LLMs, dando a um teste padronizado especializado um papel que um índice geral de capacidade não pode cumprir. A OpenAI também introduziu 13 avaliações para a monitorabilidade de cadeia de raciocínio, uma propriedade que nem votos de usabilidade nem um score de programação foram projetados para captar.

Um comprador pode usar um índice amplo para selecionar candidatos, testes de domínio para examinar falhas consequentes e testes em seu próprio provedor e configurações para medir erros, latência e custo. Documentos de governança então estabelecem quem executou cada teste e o que pôde ser inspecionado. Nenhum comprador empresarial identificado nos relatórios citados rejeitou um modelo porque não conseguia auditar os métodos de um avaliador; chamar a proveniência de regra universal de aquisição iria além dos registros. A lacuna entre avaliação e aquisição mais restrita já é concreta: nenhum desses testes, isoladamente, especifica como um modelo se comportará em um fluxo de trabalho específico.

Perguntas frequentes

Quais componentes do Intelligence Index v5 compõem os 60% baseados em testes privados ou respostas retidas?

O texto identifica o FrontierCode 2.0 como um desses componentes, mas não lista todos os componentes da v5 incluídos nos 60% nem o peso individual de cada componente.

Um leitor consegue isolar quanto da mudança na diferença do leaderboard entre v4.3 e v5 veio do desempenho dos modelos, em vez de uma metodologia revisada?

Não. A cobertura citada informa a diferença de três pontos na v4.3 e a de 12 pontos na v5, mas não traz pesos comparáveis dos componentes da v4.3 necessários para separar os efeitos da metodologia dos efeitos de desempenho.

Quais provedores de hospedagem ou configurações de inferência causaram as diferenças relatadas para o gpt-oss-120b?

O texto diz que a Artificial Analysis encontrou desempenho inconsistente entre provedores, mas não nomeia os provedores nem fornece as versões de API, configurações de amostragem, condições de latência ou diferenças resultado a resultado.

O plano da OpenAI de setembro de 2026 para avaliações de segurança por terceiros dará a pessoas externas acesso aos gabaritos de benchmarks privados de capacidade?

Não segundo o registro citado. A OpenAI disse que planeja permitir avaliações técnicas de segurança por terceiros durante treinamento, avaliação e implantação; isso não é um compromisso de tornar auditável todo índice de capacidade ou suas respostas retidas.

Sinais quantificados por trás da avaliação de IA

MétricaNúmero reportadoO que abrange
Intelligence Index v560%Parcela do composto baseada em conjuntos de testes privados ou respostas retidas
FrontierCode 2.0132 tarefas privadasTarefas em repositórios reais de código aberto
Pesquisa sobre replicação em pesquisa400 algoritmos; 6% incluíam código; 30% incluíam dados de testeAlgoritmos apresentados em grandes conferências
Foundation Model Transparency Index10 desenvolvedores; 100 indicadoresAvaliação da divulgação por desenvolvedores do CRFM de Stanford
AILuminateMais de 12.000 promptsAvaliação de segurança de LLMs da MLCommons

O modelo recebe o selo de primeiro lugar. Para 60% do Index v5, a Artificial Analysis precisa tornar o resultado crível sem mostrar o gabarito.