LLMの判断を必要なときだけ他モデルに委ねるCOMED、推論コストを抑えて精度を上げる話

論文

LLMの判断を必要なときだけ他モデルに委ねるCOMED、推論コストを抑えて精度を上げる話

スポンサーリンク

COMEDが、LLM の判断が必要なときだけ他モデルに委ね、精度を上げつつ推論コストを抑えた

この記事のポイント

  • コラボは成功も失敗も引き起こす
  • COMEDで協力する相手を選別した
  • MedQAで+10.7pt。ただし16設定のみ

数字で見る

この記事に出てくる数字

MedQA改善 +10.7pp
HLE(GPT-5.5) 23.1→28.1%

どこで使えるか

精度を上げつつコストを抑えたい人向け。モデル選定やリソース配分に課題がある場合に向く arXivで論文公開済み コード公開の記載なし。実装は未確認

スポンサーリンク

解説

かみくだいて説明します

複数のLLMを同時に使うシステムが増えていますよね?
確かにその通りです。単一モデルでは対応しきれない複雑な推論タスクが増えています。
既存のアプローチって、結局どちらかに偏っていませんか?
その通りで、ルーター方式は初期モデル選定で停止し、密結合型は全クエリに追加呼び出しを発生させます。
arXiv 2609.26913で公開されたCOMEDが、その中間地点を実現します。
そのアプローチって、具体的にはどういう仕組みなんですか?
主モデルの自己一貫性とルーターの判断余地を測定し、迷った場合のみ軽量な同僚モデルを呼ぶ制御層です。
余計な呼び出しを省くスマートな設計ですね!
実際の性能向上幅はどの程度なんですか?
医療ベンチマークMedQAでは最大で正解率が10.7ポイント向上し、16のオープンウェイト設定すべてで改善を確認しています。
密結合型と比較してコスト面はどうなんですか?
生成トークン数を削減しながら、最先端モデルGPT-5.5のHLEスコアを23.1パーセントから28.1パーセントに引き上げています。
でも、特定のベンチマークに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
ご指摘の通りです。主モデルの品質次第で効果に差が出ることと、プローブ処理のオーバーヘッドはトレードオフとして残ります。
実装の試し方はどうすればいいんですか?
公開リポジトリから設定ファイルをダウンロードし、既存の推論フレームワークに組み込むだけで検証可能です。
実環境での長期安定性はまだ検証段階ですが、マルチモデル推論の標準アーキテクチャに近づきます。
次世代のAIインフラがさらに賢くなるのが楽しみです!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文