When2Thinkは、AIME24でPass@3が10.0%向上しトークン使用量が27.9%減る効率化を実現した
この記事のポイント
- 従来手法は計算と精度のトレードオフ
- 問題の難易度で推論長を動的に制御
- AIME24で精度向上とトークン削減
どこで使えるか
数学推論で効率と精度を両立させたい人向け。難易度に応じて推論長を動的に制御 論文に記載あり、コード公開の記載なし AIME24とAIME25で異なる結果を報告
動画を見る
スポンサーリンク
解説
かみくだいて説明します
2026年9月18日、arXivにWhen2Thinkという論文が公開されました。大型の推論モデルが易しい問題で余計に考え込み、難しい問題で考えが足りないという問題を、問題の難易度に応じて計算量を自動で割り当てる手法です。
易しい問題でも延々と考えてしまうんですね。研究する人から見ると、従来の手法とどこが違いますか。
従来は一律に答えの文字数を制限したり、経路を固定したりしていましたが、それだと易しい問題で節約した分だけ、難しい問題の正解率が下がっていました。今回提案したIDACという仕組みでは、過去の実績データから正解率と文字数を見積もっておき、それに合わせて考える長さを調整します。試験で簡単な問題には30秒、難しい問題には5分と時間配分を決めるようなものです。
時間配分で考える長さを決めるんですね。では、作る人にとって、この手法は手元のモデルにそのまま組み込めますか。
組み込みは可能です。既存のモデルの学習後に適用する後処理の枠組みになっており、追加の報酬モデルを学習したり、外部のモデルをリアルタイムで呼び出したりする必要はありません。バッチ単位で標準化した評価値を使うため、安定して最適化が進みます。
追加のモデルなしで安定して学習が進むんですか。では、数字でどれくらい変わるんですか。
数学のベンチマーク、専門家が問題を揃えて性能を測るテストで測った結果です。AIME24では正解率の指標Pass@3、3回中1回でも正解すれば通すという基準で、10.0%上がり、必要なトークン、つまり文字や記号の数を27.9%減らしました。AIME25ではPass@3が40.0%を記録し、圧縮や経路制御だけの手法を上回っています。
難しい問題では長く考え、易しい問題ではすぐ答えるんですね。では、文章の理解やプログラミングの分野ではどうなりますか。
そこはまだ分かっていません。現時点では数学のベンチマークが中心で、他の領域での検証は論文に載っていません。
使う側からすると、他の分野で使えないと困りますね。最後に、実務で使う場合の次の課題はどうなっていますか。
実務では、IDACが事前の統計情報を使って推論の深さを制御し、易しい問題では即答、難しい問題では慎重に考えるというバランスを取ることが重要です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。