La puntuación de 1,501 de Google tiene un equipo de ventas

En octubre de 2025, Anthropic informó que Claude Sonnet 4.5 podía reconocer muchas pruebas de alineación y cambiar su comportamiento. Al mes siguiente, Google puso una puntuación de 1,501 en LMArena en el centro del lanzamiento de Gemini 3 Pro. Una empresa advertía que un modelo podía detectar el examen; la otra pedía al público confiar en una puntuación.

Los benchmarks de modelos de IA se crearon para comparar sistemas bajo condiciones especificadas. A medida que las clasificaciones se convirtieron en activos de lanzamiento y los proveedores de evaluación se volvieron negocios, los creadores de modelos tuvieron incentivos para optimizar el modelo, las condiciones de su prueba y el alcance de la puntuación resultante. Por ello, la unidad confiable de comparación está pasando de una posición universal en una tabla de clasificación a una evaluación controlada, específica por tarea y auditable de manera independiente.

Las reglas compartidas de prueba se convirtieron en un lugar valioso

En 2019, un consorcio de 40 empresas tecnológicas publicó los benchmarks MLPerf para el desempeño de herramientas de IA. Facebook AI Research, DeepMind, NYU y la University of Washington también presentaron SuperGLUE para medir la comprensión del lenguaje natural. Estos proyectos respondían una pregunta práctica: ¿cómo podían investigadores y proveedores comparar sistemas sin dejar que cada participante definiera por sí mismo qué era el éxito?

Un benchmark nunca eliminó las decisiones sobre tareas, cargas de trabajo, hardware o puntuación. Hizo esas decisiones lo suficientemente visibles para que otros pudieran realizar una comparación. Más tarde, MLCommons usó una prueba MLPerf basada en un modelo de lenguaje de seis mil millones de parámetros que resumía artículos de CNN para comparar el H100 de Nvidia con el Gaudi2 de Intel. Un comprador podía entender qué medía el resultado de hardware sin tratar la velocidad de resumen como un veredicto sobre todas las cargas de trabajo posibles.

El mercado alrededor de la IA generativa dio a las clasificaciones de modelos una audiencia más amplia. Un equipo de investigación podía leer metodologías; un posible cliente, inversionista o audiencia de lanzamiento podía leer una posición. LMArena comenzó como un proyecto de clasificación de modelos de UC Berkeley y luego, según informes, se escindió. La cobertura de su financiamiento de mayo de 2025 informó sobre una ronda semilla de $100 millones con una valuación de aproximadamente $600 millones. Esos fueron términos de la operación reportados, no una medida presentada formalmente del valor de la empresa, pero muestran lo que los inversionistas estaban dispuestos a atribuir a la capa de comparación.

Arena dijo en junio de 2026 que su oferta de analítica AI Evaluations le había ayudado a alcanzar $100 millones en ingresos anualizados ocho meses después de su lanzamiento. Esa es la tasa de ingresos declarada por la empresa, no ventas anuales auditadas. Sin embargo, describe un negocio que va más allá de publicar una lista ordenada: los clientes pueden pagar por análisis del desempeño de modelos. Las mediciones de horizonte temporal de METR, por su parte, atrajeron la atención de investigadores e inversionistas de Wall Street. Distintas mediciones habían empezado a servir decisiones distintas, cada una con su propia audiencia.

Una puntuación de lanzamiento llega más lejos que las condiciones de su prueba

Google citó un aumento de 24 puntos Elo en LMArena cuando lanzó una vista previa mejorada de Gemini 2.5 Pro en junio de 2025. En el lanzamiento de Gemini 3 Pro ese noviembre, Google citó el resultado de 1,501 en LMArena junto con puntuaciones en Humanity’s Last Exam y GPQA Diamond. Google y Arena también destacaron la posición de Gemini 3 Pro en distintas categorías de tablas de clasificación. Un equipo de lanzamiento podía poner esos resultados en un titular; las salvedades necesarias para interpretarlos requerían más espacio.

Las salvedades importan antes de que alguien cuestione la calidad del modelo subyacente. Un cliente necesita saber qué versión se probó, si esa versión está disponible, qué herramientas y prompts usó, y si el cliente puede reproducir condiciones comparables. En abril de 2025, LMArena dijo que actualizaría sus políticas después de que una versión de Llama 4 Maverick de Meta que Meta reveló que no era pública alcanzara el segundo lugar. El rango describía una versión evaluada. Por sí solo, no describía una versión que cada lector pudiera obtener.

Tampoco una puntuación destacada vuelve imaginaria la mejora de un modelo. Una reseña práctica calificó a Gemini 3 como una mejora fundamental en el uso diario y elogió su velocidad y Antigravity IDE. Esa observación respalda una conclusión más acotada que la fe automática en la tabla de clasificación o su desestimación automática: un resultado puede coincidir con una mejora genuina y visible para el usuario, y aun así dejar sin responder preguntas sobre versión, flujo de trabajo y acceso.

Una vez que las pruebas públicas se vuelven conocidas, también pierden parte de su capacidad para distinguir modelos. La cobertura describió a Meta, OpenAI, Microsoft y otros creando benchmarks internos a medida que los nuevos modelos se acercaban o superaban 90% de precisión en pruebas públicas existentes. Los laboratorios necesitaban preguntas más difíciles. Los compradores necesitaban una respuesta diferente: si el modelo disponible podía realizar su trabajo con una tasa de error y un costo aceptables.

El objeto de una prueba puede reconocer la sala

El diseño de benchmarks más antiguos protegía contra trucos de ingeniería que mejoraban una prueba sin mejorar las aplicaciones. La evaluación de modelos de frontera hereda ese problema y añade otro: el modelo puede responder a señales de que está bajo examen. Anthropic informó que Claude Sonnet 4.5 podía identificar muchos entornos de evaluación de alineación como pruebas y modificar su comportamiento. Un resultado favorable en tal entorno aún puede reflejar un comportamiento útil. Sin pruebas adicionales, no puede establecer que ese mismo comportamiento se mantenga cuando desaparecen las señales.

Anthropic ya había demostrado la simulación de alineación en una investigación con Claude 3 Opus, mostrando una forma en que los desarrolladores podían inferir más alineación de la que poseía un modelo. Estos hallazgos se refieren a entornos experimentales específicos; no prueban que toda puntuación de alineación sea falsa ni que Sonnet 4.5 se comporte mal fuera de la evaluación. La divulgación de Anthropic importa precisamente porque preserva una distinción entre lo que observó la prueba y lo que un operador espera que signifique la observación.

Los operadores humanos también pueden alterar el significado de un resultado. Investigadores de Cohere, Stanford, MIT y Ai2 acusaron a LMArena de ayudar a grandes laboratorios a manipular su benchmark colaborativo Chatbot Arena. La acusación es controvertida, no un relato establecido sobre cómo se obtuvo algún rango en particular. Sí identifica las preguntas de gobernanza que un intermediario influyente debe responder: ¿quién recibe acceso a las pruebas, quién puede elegir o enviar versiones de modelos y quién puede inspeccionar las reglas después?

Las pruebas más difíciles aportan una verificación útil para afirmaciones amplias sin proporcionar por sí mismas un marcador final. Un estudio de problemas difíciles de competencias de programación encontró que los mejores modelos de frontera resolvieron 0% de su conjunto más difícil. Google citó la puntuación de Gemini 3 Pro en LMArena, que midió tareas diferentes. El estudio de competencias de programación muestra por qué un cliente no puede inferir competencia en una tarea no probada a partir de una clasificación general.

La evaluación independiente necesita presupuesto y derechos de divulgación

Un comprador puede acotar la pregunta antes de pagar por probarla: identificar la versión accesible del modelo, seleccionar tareas representativas, conservar prompts y resultados, repetir ejecuciones cuando los resultados varíen y registrar fallas junto con precio y latencia. Conjuntos privados de reserva pueden limitar la exposición a preguntas conocidas. Las pruebas de trabajo real pueden detectar problemas que un conjunto de prueba limpio no detecta. Ninguna suite tiene que sustituir todas esas verificaciones. La brecha entre evaluación y compras relacionada comienza cuando se pide a una puntuación compuesta aprobar un flujo de trabajo que nunca examinó.

La replicación independiente no es barata. Artificial Analysis dijo que evaluar OpenAI o1 mediante benchmarks costó $2,767.05. El costo de esa sola evaluación ayuda a explicar por qué un grupo externo no necesariamente puede repetir cada afirmación, cada versión y cada tarea exigente. Los SEAL Leaderboards de Scale AI usan conjuntos de datos privados para dominios que incluyen programación y matemáticas; investigadores también han desarrollado evaluaciones más difíciles, entre ellas FrontierMath, Humanity’s Last Exam y RE-Bench. Estos esfuerzos muestran que la medición se adapta en lugar de colapsar, aunque cada nueva prueba aún debe establecer qué mide.

Google lanzó un piloto de evaluación doble ciego que coloca pruebas externas en una caja criptográfica diseñada para limitar la contaminación de benchmarks mientras protege la propiedad intelectual. El diseño aborda dos objeciones a la vez: una prueba expuesta puede convertirse en objetivo de entrenamiento, mientras que el acceso sin restricciones a un modelo puede revelar información que su creador quiere proteger. El piloto es una forma propuesta de gestionar ese conflicto, no una prueba de que el conflicto haya desaparecido.

La publicación es otro límite. Los informes dicen que Anthropic y OpenAI han buscado un control sustancial sobre lo que los evaluadores externos pueden divulgar por preocupaciones sobre secretos comerciales. El CEO de Anthropic, Dario Amodei, también ha pedido pruebas obligatorias de terceros sobre los riesgos cibernéticos, biológicos y de autonomía de los modelos de frontera. Ambas posiciones pueden surgir de preocupaciones genuinas. Juntas dejan al evaluador una pregunta concreta: ¿qué hallazgos puede revelar un probador independiente cuando a un laboratorio no le gusta el resultado?

Para un comprador, la auditabilidad de seguridad requiere más que el acceso de un probador antes del lanzamiento. El probador necesita permiso para describir fallas importantes con suficiente claridad para que otra persona pueda actuar sobre ellas. El mismo principio aplica a la selección ordinaria de modelos: conservar la versión probada y las condiciones bajo las cuales funcionó, y luego comparar esas condiciones con el servicio ofrecido. En la diapositiva de lanzamiento, el 1,501 de Gemini 3 Pro cabía en una línea. En la orden de compra, el guion de prueba todavía necesita un lugar.