Inklingは推論コストを見極める力をモデルに学ばせる

OpenRouterによると、推論を伴う指示は、思考を伴わない指示の10–1000×ものトークンを消費しうる。トークン単価の下落を見れば、この幅も許容範囲に思える。問題は、モデル自身がどこまで使うかを決めなければならないことだ。

実行時の計算量拡大で、能力は従量投入する資源になった

OpenAIのo3は、実行時に計算量を追加すれば評価試験の成績を高められることを広く印象づけた。能力の大半は事前学習の段階で確保しなければならない、という見方を変えた出来事だった。指示を受け取った後でも、熟考を長くする、複数の回答候補を生成する、検証する、探索するといった方法で計算資源を追加できるようになった。

通常のモデルと指示文を選んだ時点で、1回の呼び出しにかかる費用はおおむね決まる。これに対して推論モデルは、どれだけ長く考えるかによって、出力量も所要時間も計算量も変わる。開発者は実行時に品質を調整できるが、費用も連動して増減する。

実行時の探索も、特定の作業に計算資源を追加投入する手段となった。ただし、その効果がどこまで幅広く通用するかについては、専門家から疑問も出ている。だからこそ配分が重要になる。追加のトークンがどんな回答にも同じだけ効くなら、方針は単純だ。顧客が許容できる限り投入すればよい。しかし効果が作業ごとに異なる以上、「どこまで使うか」は独立した最適化問題になる。

開発者は待ち時間という費用も負う。長く考えれば回答が改善する可能性はあるが、対話型の仕組みでは待たされないことも品質の一部だ。期待できる改善幅と、トークン費用、遅延、モデルが考えている間に利用者が被る不利益を比べなければならない。

Inklingは訓練中の思考に潜在価格を課す

Thinking Machines Labが公開したInklingは、利用者が思考量を選べるだけの仕組みではない。強化学習の試行過程で、求める思考量と推論用トークンの費用係数λをともに変化させた。訓練目標では、作業の失敗と推論用トークンの使用の両方に罰則を設けている。

この係数は、思考に対する潜在価格として働く。λが変わったとき、モデルは単に短い回答や長い回答を求められるわけではない。作業の内容、求められた思考量、考え続けることに暗黙に設定された価格を踏まえ、計算をさらに続ける価値があるかを判断する方針そのものを学ぶ。

トークンに罰則を設けた訓練は、「速さ重視」と「深さ重視」の切り替えを用意するだけではない。固定設定では、利用者や応用ソフトの開発者が予算をあらかじめ選ぶ必要がある。Inklingは、予算の変化に応じて振る舞いをどう変えるべきかを学習する。

Inklingの構造は、資源配分の考え方がとりわけ分かりやすい。総パラメータ数975B、稼働パラメータ数41Bの重み公開型専門家混合モデルであり、狭い用途ではなく幅広い能力を目指して訓練されている。専門家混合は、モデルの広がりの中から必要な部分だけを選んで計算する仕組みだ。推論費用を変化させることで、この選択性を時間方向にも広げている。どの能力を動かすかだけでなく、それをいつまで使い続けるかも選ぶ。

幅広い用途に対応するモデルには性質の異なる作業が持ち込まれるため、思考量を一律に固定するのは採算面で大ざっぱすぎる。長い熟考に見合わない指示もあれば、十分な時間をかけるべき指示もある。異なるλで訓練すれば、最大限の思考を品質の標準とするのではなく、作業ごとに必要性を見分ける動機がモデルに生まれる。

もっとも、トークンに罰則を設けた強化学習によって、実運用のさまざまな処理に適切な予算を割り当てられると、Inklingだけで証明できるわけではない。適切な予算は、作業の分布、許容される待ち時間、評価の質、失敗時の損失によって変わる。トークンへの罰則は、訓練目標に照らして節約を学ばせることはできるが、その目標が現実の誤りを正しく値付けしていることまでは保証しない。

トークンが安くなっても、作業費用は高くなりうる

開発者はすでにこの問題に直面している。OpenRouterは、100Tトークン超、数百のモデル、3M人超の利用者を対象に分析し、推論モデルがトークン利用量の半分以上を占めたと報告した。同時に、重み公開型モデルの利用も着実に増えていた。ただし、この比率の解釈には注意が必要だ。推論を伴う指示は、思考を伴わない指示よりはるかに多くのトークンを使うため、トークン数の過半を占めても、指示件数の過半を占めるとは限らない。

推論を伴う指示が10–1000×ものトークンを使うなら、単価の下落だけでは費用問題は解決しない。トークン単価が下がる一方で、開発者の費用は増えている。新しい推論モデルほど、1つの作業を終えるために多くのトークンを使えるからだ。投入資源の単価は下がったが、有用な成果1件に必要な量は増えた。

したがって開発者が追うべきなのは、トークン単価だけではなく、有用な作業1件当たりのAI費用だ。推論をもう1単位追加するのは、それによって見込める誤りの損失減少が、追加の計算費用と待ち時間を上回る場合に限るべきである。そうすれば、推論予算を、支援対象となる意思決定の重みと結び付けられる。

失敗しても影響が小さい作業なら、短時間の回答や安価なモデルを選ぶのが合理的だろう。誤りの損失が大きくなれば、同じ仕組みでも、より長い推論、道具の利用、複数案の並行生成、検証、人間による確認に費用をかける根拠が生まれる。

また、表に出る推論の長さを、そのまま品質の尺度にはできない。Anthropicの整合性研究者は、思考過程の読みやすさや忠実性は信用できず、モデルが推論を隠す場合もあると指摘した。導入側は出力された推論用トークンを計測できるが、その長さだけから、内部処理が透明だった、あるいは正しかったとは判断できない。見るべきは思考の記録ではなく、配分が成果に結び付いたかどうかだ。

重み公開で予算の主導権は移るが、基盤の集中は崩れない

重みが公開されれば、導入側は追加訓練後の振る舞いを調べ、調整し、再現できる。思考量、待ち時間、価格の関係を非公開のまま決める事業者に従う必要はない。開発者が思考量の制御をモデルに学ばせ、現場の処理に合わせて調整できれば、接続サービス事業者が提示する推論予算とは別の選択肢を持てる。

Thinking Machines Labがこれまで打ち出してきた製品にも、同じ方向性が表れている。同社の追加訓練用接続サービスTinkerは、Kimi K2 Thinkingへの対応とともに一般提供され、追加訓練後の振る舞いを柔軟に変える姿勢を鮮明にした。続くInklingでは、最先端級の重み公開型モデルを外部で導入・検証できるようにした。両者を合わせると、モデルの振る舞いを決める権限の一部が、提供事業者の商品構成から、開発者の訓練・運用基盤へ移る。

ただし、重みを公開しても推論基盤が分散するわけではない。Thinking Machines LabはNvidiaとも契約を結び、1ギガワットを超えるVera Rubinチップを配備する計画を進めている。Nvidiaは多額の出資も行う。重み公開によって、予算配分の方針を誰が決められるかは変わるが、最先端級システムの訓練と提供に必要な資本が集中する構図は変わらない。

開発者はλを制御できても、計算拠点までは制御できない。モデルの振る舞いや供給元を選ぶ余地は広がる一方、基礎となる計算能力は依然として少数の供給者が握る。

最終的な推論予算を決めるのは業務工程だ

学習による思考量の制御は、計算資源配分の最下層にすぎない。モデルは、もう少し考えることが有用かどうかを推定できる。しかし、その判断の結果を引き受けるのは周囲の組織だ。

決定的なのは、処理の振り分けと業務工程の設計である。正しい成果にどれほどの価値があるか、誤りがどれほどの損失をもたらすか、どの時点で大規模モデルを選ぶか、道具や複数案の並行生成をいつ使うか、何をもって検証済みとするか、どこで人間の判断を介在させるかを決めなければならない。

「常にもっと深く考えさせる」という方針に頼れる製品はない。それでは計算資源を無料とみなし、待ち時間を無視し、あらゆる誤りの損失を同一視することになる。モデル側の思考量制御は1回の呼び出しの中で節約できるが、システム全体の配分役は、その呼び出しを別のモデルや道具、さらには自動化しないという選択肢とも比較しなければならない。

追加の計算で回答が改善しそうかどうかはモデルが推定できる。しかし、その改善にいくら払う価値があるかを決めるのは導入側だ。両者の役割が曖昧になると、提供側は目に見える能力を最大化し、顧客は値付けされていない待ち時間、トークン消費、残存する誤りをまとめて負担することになる。

Inklingのλは、この配分問題を解くものではない。問題を訓練目標の中に組み込むものだ。購入側は、単一の評価試験の点数やトークン単価ではなく、複数の思考量における作業単位の成果でモデルを評価する必要がある。

報告された10–1000×という幅は、どんな作業でも上限まで登るための階段ではない。導入側の競争力を左右するのは、どこで止めるべきかを知っていることだ。次の1トークンの費用が、それによって防げるかもしれない誤りの損失を上回る地点を見極めなければならない。