El benchmark de Faraday espera ser replicado

En agosto de 2026, TechCrunch reportó que la startup londinense Inherent dijo que su agente científico Faraday podía reproducir hallazgos de artículos de investigación mejor que GPT-5.5. La rareza venía incorporada en el anuncio: un producto vendido sobre la verificación llegó con una afirmación de benchmark que no había sido replicada de forma independiente.

Esa afirmación sin resolver cerró 15 meses en los que FutureHouse, Google y equipos de laboratorio asistidos por IA mostraron que los agentes científicos podían aumentar la producción de investigación. La competencia esperada era por quién podía generar más hipótesis y artículos. Su producción dejó al descubierto un cuello de botella más difícil: recuperar evidencia, elegir afirmaciones para replicación y asignar el escaso juicio experto.

El descubrimiento más barato vuelve escasa la atención creíble

En mayo de 2025, FutureHouse lanzó una plataforma y API con cuatro herramientas de IA para trabajo científico y expresó la ambición de construir un científico de IA. La plataforma repartía la búsqueda de literatura, el razonamiento científico y tareas de investigación relacionadas entre herramientas especializadas, en vez de tratarlas como una sola conversación con un modelo de propósito general.

Un estudio aleatorizado en un laboratorio corporativo que empleaba a más de 1,000 investigadores ya había encontrado que los equipos asistidos por IA descubrieron 44% más materiales nuevos que los equipos que usaban flujos de trabajo estándar.

Artículos de Nature publicados en mayo de 2026 llevaron el campo más allá de la asistencia genérica. Co-Scientist de Google y las herramientas de FutureHouse tuvieron éxito en tareas de reposicionamiento de fármacos mediante el desarrollo de hipótesis, y una herramienta de FutureHouse también analizó parte de los datos. Google y FutureHouse mostraron que los agentes podían participar en una cadena de trabajo científico en vez de limitarse a resumir literatura.

Esas demostraciones acotadas todavía dejaban a las instituciones científicas la tarea de clasificar la literatura para su replicación, asignar capacidad de laboratorio y dirimir resultados contradictorios. Los sistemas ayudaban a producir y probar hipótesis; las instituciones decidían qué tareas importaban lo suficiente como para ejecutarlas.

Los equipos asistidos por IA también pueden chocar. En agosto de 2026, dos equipos independientes usaron GPT-5.6 Sol Ultra en el mismo problema de criptografía cuántica y presentaron artículos con tres horas de diferencia, lo que planteó preguntas sobre el crédito científico. El episodio no mostró que alguno de los dos artículos estuviera equivocado. Mostró cuán rápido la investigación asistida por máquinas puede volver más difícil separar la novedad, la prioridad y la confirmación independiente.

Los científicos no pueden absorber una literatura en expansión indefinida solo porque los modelos puedan producirla. Cuando la publicación crece más rápido que la atención humana, cada resultado entra a una fila más larga para ser leído, cuestionado y replicado. Un agente que añade otra afirmación plausible puede aumentar la carga incluso cuando la afirmación es útil.

La reproducción obliga al agente a ir por debajo de la prosa

Inherent dice que Faraday también supera a modelos más grandes de Anthropic y OpenAI mientras usa una fracción de su tamaño. La reproducción cambia la unidad de trabajo del agente: un resumidor puede permanecer en el nivel del lenguaje, pero Faraday debe reconstruir una afirmación lo bastante bien como para exponerla al fracaso.

Ninguna replicación independiente presentada aquí confirma la comparación de Faraday con GPT-5.5 o los modelos de Anthropic u OpenAI. Esa limitación importa para un producto construido alrededor de la reproducción. El benchmark de Inherent tendrá que resistir eventualmente el estándar que Faraday propone aplicar en otros lugares.

Faraday puede, en principio, completar una cadena que un modelo de lenguaje pasivo no puede terminar en una respuesta: identificar la afirmación central de un artículo, recuperar la evidencia citada, reconstruir el método, ejecutar análisis disponibles, comparar resultados y registrar lo que sigue sin resolverse.

Los científicos necesitan que el expediente resultante contenga más que un veredicto. Los insumos deben seguir siendo identificables, los métodos inspeccionables, los resultados intermedios conservados y la incertidumbre visible. La prosa fluida puede crear una ilusión de comprensión precisamente cuando la confiabilidad de un modelo es más difícil de juzgar de antemano. Un rastro de evidencia permite a un científico localizar el desacuerdo en vez de debatir la confianza de la prosa.

La revisión humana corresponde al punto de consecuencia

Las instituciones de investigación pueden dividir las afirmaciones según su recuperabilidad, incertidumbre y consecuencia, en vez de colocar el mismo punto de control humano después de cada acción del agente. Los agentes pueden encargarse del trabajo repetitivo con evidencia, mientras expertos identificados conservan autoridad sobre interpretaciones disputadas, experimentos costosos y decisiones irreversibles.

La revisión humana aporta responsabilidad en el despliegue, transparencia y confianza institucional, además de corregir errores. Un revisor que firma una decisión de alta consecuencia establece quién aceptó la evidencia y bajo qué estándar. Sin ese punto de control, resulta más difícil ubicar la responsabilidad.

A medida que las instituciones dan a los agentes más autonomía y menos supervisión, les resulta más difícil predecirlos y restringirlos. Por lo tanto, los flujos de trabajo científicos necesitan registros de a qué accedió un agente, qué cambió y por qué escaló una decisión.

Las aplicaciones de investigación deben imponer autorización para herramientas peligrosas mediante controles en la capa de despliegue. Una aplicación que retiene el permiso hasta que un humano lo aprueba ofrece un límite más firme que un prompt que pide a un modelo probabilístico no realizar una acción importante.

Inherent usa la responsabilidad contra la escala

Inherent salió del modo sigiloso en mayo de 2026 con $50 millones liderados por Index Ventures, incorporó como asesor al cofundador de Entrepreneurs First, Matt Clifford, y se presentó como un laboratorio londinense fundado por exalumnos de Google DeepMind.

La empresa eligió una carga de trabajo que da espacio a un especialista para competir. OpenAI y Anthropic pueden ofrecer modelos generales más grandes, pero la reproducción de artículos también depende de cómo un sistema descompone tareas, recupera evidencia, selecciona herramientas y evalúa resultados intermedios. Inherent está probando si esas decisiones circundantes pueden superar la escala bruta del modelo en un trabajo científico definido de manera estrecha.

Faraday puede especializarse en hacer inspeccionable el trabajo científico de un modelo en distintos dominios. Un modelo de frontera puede servir como un componente del flujo de trabajo, en lugar de ser el juez final de su propio resultado. La ronda de $50 millones da a Inherent capital para probar esa proposición más allá de una comparación de lanzamiento.

Un laboratorio canaliza el trabajo más allá de cualquier modelo

Sakana AI expuso otra parte de la arquitectura cuando lanzó Fugu como un sistema de orquestación multiagente mediante una API compatible con OpenAI. Detrás de un endpoint, Fugu canaliza el trabajo entre modelos y separa el sistema orientado al usuario de cualquier modelo que opere por debajo.

La relevancia de Fugu para la reproducción científica es arquitectónica. Los equipos pueden asignar la búsqueda a un agente, el análisis a otro y el cuestionamiento metodológico a un tercero, y luego escalar los conflictos mediante la aplicación. FutureHouse tomó una decisión similar cuando ofreció múltiples herramientas científicas a través de una plataforma y API, en vez de presentar un único modelo universal.

El trabajo científico eventualmente sale del flujo de tokens. Cuando una afirmación depende de un experimento material, un agente tiene que entregar su plan a instrumentos, muestras, instalaciones y personas. El laboratorio científico automatizado que Google DeepMind planea en el Reino Unido, centrado en materiales para chips y otras aplicaciones, le da una dirección a esa abstracción. El software puede canalizar el trabajo, pero el edificio alberga el experimento.

Los equipos científicos pueden colocar modelos dentro del giro más amplio hacia la ejecución gestionada, donde los sistemas asignan tareas, preservan registros y restringen autoridad. Los equipos pueden reemplazar componentes individuales sin reconstruir la cadena, mientras el flujo de trabajo conserva la estructura de evidencia y aprobación que da a un resultado significado institucional.

Los benchmarks no pueden cargar con la autoridad institucional

Esas demostraciones no llegan a asignar el esfuerzo de replicación a lo largo de todo un campo científico. Los artículos de Nature de Google y FutureHouse cubren tareas acotadas, mientras el benchmark de Faraday aborda la reproducción de artículos. Los laboratorios, las revistas y los financiadores aún tienen que definir la consecuencia, la evidencia aceptable, las reglas de conservación y la persona autorizada para aprobar un resultado.

Un laboratorio que recompensa a los agentes por el número de artículos reproducidos puede empujarlos hacia afirmaciones fáciles y alejarlos de las difíciles e importantes. La métrica registraría el rendimiento mientras la institución lo confunde con confianza. Los líderes de investigación pueden, en cambio, usar las puntuaciones de los modelos como insumos para una fila, combinando el filtrado de máquinas con el juicio científico humano.

El propio benchmark de Faraday ahora está en esa fila, a la espera de la prueba independiente que Inherent promete realizar para otros artículos. La IA científica entró al laboratorio con una pluma. Su artefacto más importante puede ser un portapapeles: una fila clasificada de afirmaciones, la evidencia engrapada detrás de cada una y una línea de firma que la máquina no tiene permitido llenar.