Artificial Analysis basó 60% de Intelligence Index v5 en conjuntos de pruebas privados o respuestas reservadas. Los creadores de modelos pueden citar sus rankings en público; los compradores no pueden repetir de forma independiente gran parte de la prueba.

Puntos clave

  • Artificial Analysis lanzó Intelligence Index v5 el 28 de octubre de 2026, incorporando benchmarks de programación y ciencia.
  • FrontierCode 2.0 usa 132 tareas privadas en repositorios reales de código abierto y asigna cero a una entrega cuando falla una verificación que bloquea el proceso.
  • Mistral dijo que Large 4 usó 82,000 tokens de salida por tarea de programación, 39% menos que su versión preliminar.
  • Artificial Analysis dijo que su evaluación de o1 de OpenAI costó $2,767.05.
  • Cyber Index Alliance se lanzó con Collinear, IBM, Nvidia y Vercel el 29 de septiembre de 2026.

OpenAI lanzó Evals en 2023 para que los usuarios pudieran reportar deficiencias en sus modelos. Más tarde ese año, AWS presentó Bedrock Model Evaluation en versión preliminar, con evaluadores humanos para ayudar a las empresas a valorar modelos antes de usarlos. Una puntuación ayudaba a acotar un campo saturado; probar una implementación potencial seguía siendo una tarea aparte.

Un ranking ahora ayuda a definir el mercado que mide

Artificial Analysis construyó su Intelligence Index como una composición de capacidades en tareas pensadas para reflejar usos reales. Su quinta versión añadió benchmarks de programación y ciencia. Elegir esas tareas hace más que ordenar modelos: determina qué mejoras pueden hacer que un proveedor suba en la tabla y, por tanto, qué mejoras tiene razones para destacar en un lanzamiento.

Mistral, por ejemplo, posicionó Large 4 frente a otros modelos abiertos mediante el Coding Agent Index independiente de Artificial Analysis. Su caso también incluyó eficiencia de tokens: 82,000 tokens de salida por tarea, 39% menos que la versión preliminar. Un agente que completa una tarea con menos tokens puede ocupar un lugar distinto en el presupuesto de un comprador incluso cuando su puntuación de capacidad parece similar. El índice de programación y el Intelligence Index general responden preguntas relacionadas, pero no idénticas.

Artificial Analysis hizo visible esa distinción en su comparación de Gemini 4 Hydrogen. Hydrogen casi igualó a Claude Sonnet 5.5 y GPT-6.1 Sol en Intelligence Index, mientras costaba cerca de una tercera parte de Sonnet y aproximadamente 2.5 veces más que Sol. Un comprador que eligiera entre los tres todavía necesitaría saber qué tareas importaban, pero la comparación hizo imposible ignorar el precio de un empate técnico.

Un proveedor de modelos se beneficia cuando un evaluador externo proporciona el ranking; la afirmación tiene más peso que la prueba del propio proveedor. El evaluador, a su vez, decide qué tareas entran en la composición y cómo se ubica la capacidad junto al precio y el uso de tokens. La cinta métrica ha adquirido voz sobre lo que el mercado llama progreso.

Las pruebas públicas perdieron capacidad de distinguir antes de que las privadas ganaran autoridad

En 2024, Meta, OpenAI, Microsoft y otras empresas desarrollaron benchmarks internos a medida que los modelos se acercaban o superaban 90% de precisión en pruebas públicas establecidas. Una vez que muchos contendientes aprueban el mismo examen, otro punto le dice menos a un comprador sobre el trabajo que un modelo realmente puede hacer. La exposición repetida también da a los desarrolladores oportunidades para entrenar contra una prueba, ya sea directamente o mediante la circulación más amplia de sus preguntas y respuestas.

Artificial Analysis respondió en Intelligence Index v5 al basar 60% de la composición en conjuntos de pruebas privados o respuestas reservadas, la primera vez que una mayoría tuvo ese estatus. Su componente FrontierCode 2.0 usa 132 tareas privadas en repositorios reales de código abierto. Pregunta si un mantenedor integraría el cambio de un agente y asigna cero si falla una verificación que bloquea el proceso. Esa regla contrasta el cambio presentado con un umbral operativo, no solo con si el agente produjo código plausible.

Otros evaluadores han tomado decisiones relacionadas sin llegar a un diseño estándar. Scale AI usó conjuntos de datos privados para sus SEAL Leaderboards. Google puso a prueba evaluaciones externas doble ciego en una caja criptográfica, buscando proteger las pruebas de la contaminación mientras protegía la propiedad intelectual de los modelos. Ambos enfoques restringen lo que los participantes pueden ver, pero asignan de forma distinta la custodia y el acceso.

El secretismo tiene un costo. Un externo no puede reproducir por completo un resultado construido con tareas o respuestas retenidas; en su lugar, debe evaluar cómo el evaluador diseñó, protegió, ejecutó y calificó la prueba. El Index colocó al líder tres puntos por encima del principal modelo de pesos abiertos no lanzado en v4.3 y 12 puntos por encima en v5. Un régimen de medición revisado puede modificar una brecha además de revelarla. Los compradores no cuentan con pesos comparables de los componentes de v4.3 en la cobertura citada para separar esos efectos.

La dirección de hosting debe acompañar al nombre del modelo

Artificial Analysis encontró rendimiento inconsistente entre proveedores de hosting para gpt-oss-120b y otros modelos de pesos abiertos. Un comprador no puede trasladar un resultado de un proveedor a otro solo porque ambos ofrecen los mismos pesos. El servicio implementado también tiene una versión de API, configuraciones de inferencia, latencia y una factura. La comparación de Gemini de Artificial Analysis muestra por qué el costo debe estar en la misma conversación que la capacidad; el resultado de hosting muestra por qué incluso una cifra de capacidad medida cuidadosamente necesita una dirección.

Para la adopción empresarial de IA, los compradores tienen que registrar las condiciones bajo las cuales invocan un modelo y probar el trabajo que esperan que realice. Deben seguir el costo por tarea útil, no solo el precio por token: los reintentos, las salidas extensas y el trabajo fallido pueden cambiar la comparación. La evaluación de Bedrock asistida por humanos de AWS abordó parte de este problema en el punto de uso. No volvió innecesario un leaderboard general; dio al comprador una prueba distinta que ejecutar después de consultar uno.

Artificial Analysis dio otro paso hacia la evaluación específica por tarea con la Cyber Index Alliance. Collinear, IBM, Nvidia y Vercel se unieron para evaluar si los agentes de IA podían encontrar y remediar vulnerabilidades. A diferencia de un ranking general de inteligencia, la Alliance debe probar si un agente repara software: una descripción convincente de una vulnerabilidad no basta, y una corrección propuesta debe superar verificaciones en el sistema que modifica. Los socios aportan conocimiento operativo relevante. Su participación también vuelve importante saber quién diseñó las tareas, quién proporcionó el acceso y quién podía influir en la publicación de los resultados.

El evaluador tiene que volver interrogable la evidencia confidencial

Artificial Analysis dijo que evaluar o1 de OpenAI costó $2,767.05. Las ejecuciones de razonamiento más costosas dificultan que grupos independientes repitan cada comparación, especialmente cuando una puntuación depende de muchas tareas y configuraciones. Una encuesta de 400 algoritmos presentados en conferencias importantes encontró que solo 6% incluía código y 30% incluía datos de prueba. Esa encuesta trata sobre la replicación de investigación, no sobre un proveedor de benchmarks en particular, pero muestra con qué facilidad puede circular un resultado sin los materiales necesarios para verificarlo.

El Center for Research on Foundation Models de Stanford trató la divulgación como algo medible en su Foundation Model Transparency Index. Evaluó a 10 desarrolladores con base en 100 indicadores; Llama 2 obtuvo 54%, GPT-4 48% y PaLM 2 40%. Stanford evaluó a desarrolladores de modelos, no a custodios de benchmarks. Un desarrollador puede revelar poco sobre un modelo mientras que un evaluador revela poco sobre la prueba, dejando al lector dos brechas separadas que debe salvar.

OpenAI dijo en septiembre de 2026 que planea permitir evaluaciones técnicas de seguridad de terceros durante el entrenamiento, la evaluación y el despliegue. Esa propuesta se refiere a pruebas de seguridad, no garantiza que externos puedan auditar cada índice de capacidades. Sin embargo, pone sobre la mesa los términos de acceso. Un evaluador que usa tareas privadas puede revelar el procedimiento de selección de tareas, la rúbrica de calificación, la versión del modelo, las condiciones de acceso, las configuraciones de muestreo, los costos y los conflictos sin publicar la clave de respuestas. Entonces, un revisor independiente puede examinar una ruta de evidencia controlada en lugar de depender solo del ranking. La pregunta más específica de quién puede inspeccionar esa ruta —y qué puede decir al respecto— es el problema de la procedencia de la evaluación.

Ningún examen único puede sustituir una decisión de despliegue

El SEAL Showdown de Scale AI pide a colaboradores de más de 100 países votar sobre la usabilidad cotidiana de los modelos. Sus juicios exponen experiencias que una tarea privada de programación puede pasar por alto, aunque la popularidad y la finalización de tareas miden cosas distintas. AILuminate de MLCommons usa más de 12,000 prompts para evaluar la seguridad de los LLM, dando a una prueba estandarizada especializada un papel que un índice general de capacidades no puede cumplir. OpenAI también ha introducido 13 evaluaciones de monitoreabilidad de cadena de pensamiento, una propiedad que ni los votos de usabilidad ni una puntuación de programación están diseñados para capturar.

Un comprador puede usar un índice amplio para seleccionar candidatos, pruebas de dominio para examinar fallas importantes y ensayos con su propio proveedor y configuraciones para medir errores, latencia y costo. Los documentos de gobernanza establecen después quién realizó cada prueba y qué podía inspeccionarse. Ningún comprador empresarial identificado en los reportes citados rechazó un modelo porque no podía auditar los métodos de un evaluador; llamar a la procedencia una regla universal de adquisición iría más allá del registro. La brecha entre evaluación y adquisición, más limitada, ya es concreta: ninguna de estas pruebas, por sí sola, especifica cómo se comportará un modelo en un flujo de trabajo particular.

Preguntas frecuentes

¿Qué componentes de Intelligence Index v5 integran el 60% basado en pruebas privadas o respuestas reservadas?

El texto identifica a FrontierCode 2.0 como uno de esos componentes, pero no enumera todos los componentes de v5 incluidos en el 60% ni el peso individual de cada componente.

¿Puede un lector aislar qué tanto del cambio en la brecha del leaderboard entre v4.3 y v5 provino del rendimiento de los modelos y no de una metodología revisada?

No. La cobertura citada da la brecha de tres puntos en v4.3 y la de 12 puntos en v5, pero no los pesos comparables de los componentes de v4.3 necesarios para separar los efectos de la metodología de los efectos del rendimiento.

¿Qué proveedores de hosting o configuraciones de inferencia causaron las diferencias reportadas para gpt-oss-120b?

El texto dice que Artificial Analysis encontró rendimiento inconsistente entre proveedores, pero no nombra a los proveedores ni proporciona las versiones de API, configuraciones de muestreo, condiciones de latencia o diferencias resultado por resultado.

¿El plan de OpenAI de septiembre de 2026 para evaluaciones de seguridad por terceros dará acceso externo a las claves de respuestas de benchmarks privados de capacidades?

No según el registro citado. OpenAI dijo que planea permitir evaluaciones técnicas de seguridad de terceros durante el entrenamiento, la evaluación y el despliegue; eso no es un compromiso de volver auditable cada índice de capacidades ni sus respuestas retenidas.

Señales cuantificadas detrás de la evaluación de IA

MedidaCifra reportadaQué abarca
Intelligence Index v560%Proporción de la composición basada en conjuntos de pruebas privados o respuestas reservadas
FrontierCode 2.0132 tareas privadasTareas en repositorios reales de código abierto
Encuesta sobre replicación de investigación400 algoritmos; 6% incluyó código; 30% incluyó datos de pruebaAlgoritmos presentados en conferencias importantes
Foundation Model Transparency Index10 desarrolladores; 100 indicadoresEvaluación de divulgación de desarrolladores de Stanford CRFM
AILuminateMás de 12,000 promptsEvaluación de seguridad de LLM de MLCommons

El modelo recibe la insignia del primer lugar. Para 60% de Index v5, Artificial Analysis debe hacer creíble el resultado sin mostrar la clave de respuestas.