ファラデーのベンチマークは再現を待つ

2026年8月、TechCrunchは報じた。ロンドンのスタートアップInherentは、自社の科学エージェントFaradayが、研究論文の知見を再現する能力でGPT-5.5を上回ると述べた。この発表には奇妙さが組み込まれていた。検証を売りにする製品が、独立した再現検証を経ていないベンチマークの主張とともに登場したのである。

この未解決の主張は、FutureHouse、Google、AI支援ラボチームが科学エージェントによる研究アウトプットの増加を示した15カ月間を締めくくるものだった。予想された競争は、より多くの仮説と論文を生み出せるのは誰か、というものだった。そのアウトプットが、より難しいボトルネックを露呈させた。証拠の回収、再現すべき主張の選定、希少な専門家判断の割り当てである。

発見が安くなるほど、信頼できる注意は希少になる

2025年5月、FutureHouseは科学研究向けの4つのAIツールを備えたプラットフォームとAPIを公開し、AI科学者を構築するという目標を掲げた。このプラットフォームは、汎用モデルとの単一の対話として扱うのではなく、文献検索、科学的推論、関連する研究タスクを専門ツールに分担させた。

1,000人超の研究者を雇用する企業研究所でのランダム化研究では、すでにAI支援チームが標準的なワークフローを使うチームより新材料を44%多く発見したことが示されていた。

2026年5月に発表されたNature論文は、この分野を一般的な支援の先へ進めた。GoogleのCo-ScientistとFutureHouseのツールは、仮説の構築を通じてドラッグリポジショニングのタスクを成功させ、FutureHouseのツールの1つは一部のデータも分析した。GoogleとFutureHouseは、エージェントが単に文献を要約するのではなく、科学研究の連鎖に参加できることを示した。

こうした範囲を限定した実証でも、科学機関には、再現対象の文献を順位付けし、実験室の能力を割り当て、相反する結果を裁定する仕事が残った。システムは仮説の生成と検証を助けたが、実行するだけの重要性があるのはどのタスクかを決めたのは機関だった。

AI支援チーム同士が衝突することもある。2026年8月、2つの独立チームが同じ量子暗号の問題でGPT-5.6 Sol Ultraを使用し、3時間差で論文を投稿した。これは科学上の功績をめぐる疑問を提起した。この出来事は、どちらかの論文が誤っていることを示したわけではない。機械支援研究が、独自性、優先権、独立した確認をいかに急速に切り分けにくくするかを示した。

モデルが文献を生み出せるからといって、科学者が無限に拡大する文献を吸収できるわけではない。出版が人間の注意力より速く増えれば、各結果は閲読、検証、再現のためのより長い待ち行列に入る。もっともらしい主張をもう1つ加えるエージェントは、その主張が有用であっても負荷を増やしかねない。

再現はエージェントを文章の下層へ引き下ろす

Inherentは、FaradayがAnthropicとOpenAIのより大規模なモデルも、その何分の一かの規模で上回ると述べている。再現はエージェントの作業単位を変える。要約器は言語の水準にとどまれるが、Faradayは失敗にさらせるほど十分に主張を再構築しなければならない。

ここで示されたものには、FaradayとGPT-5.5、Anthropic、OpenAIのモデルとの比較を確認する独立した再現検証はない。この制約は、再現を中心に据えた製品にとって重要である。Inherentのベンチマークは最終的に、Faradayが他の論文に適用しようとしている基準に耐えなければならない。

Faradayは原理的には、受動的な言語モデルが1回の応答では完了できない一連の工程をこなせる。論文の中心的な主張を特定し、引用された証拠を回収し、手法を再構築し、利用可能な分析を実行し、出力を比較し、未解決の点を記録することである。

科学者が必要とするのは、結論以上を含むケースファイルである。入力は識別可能なままでなければならず、手法は検査可能であり、中間結果は保持され、不確実性は見える状態でなければならない。流暢な文章は、モデルの信頼性を事前に判断するのが最も難しい場面でこそ、理解しているという錯覚を生みうる。証拠の軌跡があれば、科学者は文章の自信の度合いを論じるのではなく、意見の食い違う箇所を特定できる。

人間のレビューは結果が重大になる地点に置くべきだ

研究機関は、すべてのエージェント行動の後に同じ人間のチェックポイントを置くのではなく、回復可能性、不確実性、結果の重大性で主張を分けられる。エージェントは反復的な証拠作業を担い、記名された専門家は、争いのある解釈、高価な実験、取り消しの利かない決定に対する権限を維持する。

人間によるレビューは、誤りの修正に加え、導入時の説明責任、透明性、組織的な信頼をもたらす。重大な決定に署名するレビュアーは、誰がどの基準で証拠を受け入れたかを明らかにする。そのチェックポイントがなければ、責任の所在は特定しにくくなる。

機関がエージェントにより多くの自律性を与え、監督を減らすほど、エージェントの予測と制約は難しくなる。したがって科学ワークフローには、エージェントが何にアクセスし、何を変更し、なぜ決定をエスカレーションしたのかの記録が必要である。

研究アプリケーションは、危険なツールへの認可を導入レイヤーの制御で強制すべきである。人間が承認するまで権限を与えないアプリケーションは、確率的なモデルに重大な行動を取らないよう求めるプロンプトより、確固とした境界を提供する。

Inherentは規模に対抗するため説明責任を使う

Inherentは2026年5月、Index Ventures主導の$50 millionを得てステルス状態を脱し、Entrepreneurs First共同創業者のMatt Cliffordをアドバイザーに迎え、Google DeepMind出身者が創業したロンドンのラボとして姿を現した。

同社は、専門企業が競争する余地のあるワークロードを選んだ。OpenAIとAnthropicはより大きな汎用モデルを提供できるが、論文の再現は、システムがタスクをどう分解し、証拠を取得し、ツールを選び、中間結果を評価するかにも左右される。Inherentは、厳密に定義された科学タスクにおいて、こうした周辺の選択が生のモデル規模を上回れるかを試している。

Faradayは、モデルによる科学作業を分野横断で検査可能にすることに特化できる。フロンティアモデルは、自身の出力の最終審判者ではなく、ワークフローの1つの構成要素として機能できる。この$50 millionラウンドは、Inherentにこの命題をローンチ時の比較を超えて検証する資本を与える。

ラボは単一モデルの外へ作業を振り分ける

Sakana AIは、OpenAI互換APIを通じてマルチエージェントのオーケストレーションシステムFuguを公開した際、アーキテクチャの別の部分を明らかにした。Fuguは1つのエンドポイントの背後でモデル間に作業を振り分け、ユーザー向けシステムを、その下にある個別のモデルから切り離す。

科学的再現におけるFuguの重要性はアーキテクチャにある。チームは、検索を1つのエージェントに、分析を別のエージェントに、方法論的な検証を3つ目に割り当て、アプリケーションを通じて対立をエスカレーションできる。FutureHouseも、1つの万能モデルを提示するのではなく、プラットフォームとAPIを通じて複数の科学ツールを提供した際に、同様の選択をした。

科学研究はいずれトークンストリームを離れる。主張が材料実験に依存する場合、エージェントは計画を機器、試料、施設、人に引き渡さなければならない。チップ向け材料などに焦点を当てたGoogle DeepMindの英国で計画中の自動科学ラボは、その抽象化に住所を与える。ソフトウェアが作業を振り分けても、実験を担うのは建物である。

科学チームは、モデルをより広い管理された実行への転換の中に置ける。そこでは、システムがタスクを割り当て、記録を保存し、権限を制限する。チームはチェーンを作り直さずに個々の構成要素を置き換えられ、ワークフローは、結果に組織的な意味を与える証拠と承認の構造を維持する。

ベンチマークは組織的な権威を担えない

これらの実証は、科学分野全体にわたる再現作業の配分には至っていない。GoogleとFutureHouseのNature論文は範囲を限定したタスクを扱い、Faradayのベンチマークは論文の再現を対象とする。それでもラボ、学術誌、資金提供者は、結果の重大性、許容できる証拠、保存ルール、結果を承認できる人物を定義しなければならない。

論文を再現した数でエージェントに報いるラボは、エージェントを容易な主張へ向かわせ、困難で重大なものから遠ざける可能性がある。その指標は処理量を記録する一方で、機関はそれを確信度と取り違える。研究リーダーは代わりに、モデルスコアを待ち行列への入力として用い、機械によるフィルタリングと人間の科学的判断を組み合わせられる。

Faraday自身のベンチマークも今、その待ち行列にある。Inherentが他の論文に対して行うと約束する独立テストを待っている。科学AIはペンを持ってラボに入った。だが、より重大な成果物はクリップボードかもしれない。順位付けされた主張の待ち行列、その一つ一つの後ろに留められた証拠、そして機械には記入を許されない署名欄である。