6つのLLMルーターは2モデル間ランダム選択に上回れず、一部は10ポイント以上劣った
この記事のポイント
- 6商用ルーターの性能が不明だった
- 2モデル構成の代替評価手法を提案
- ランダムより僅か上。ただし範囲狭い
数字で見る
この記事に出てくる数字
| 商用ルーター | 6つ |
|---|---|
| 評価設定 | 14 |
| 劣後幅 | 10ポイント以上 |
どこで使えるか
推論コストを下げたい人向け。モデル選定は限定的 論文公開済み(arXiv)
スポンサーリンク
解説
かみくだいて説明します
Sam Wang たち arXiv の論文によりますと、AI の質問を複数のモデルに振り分けるルーティングツールはコストを削れるとされてきましたが、6 つの商用ツールで実態を調べたところ期待通りの性能が出ませんでした。
6 つも調べたんですか。質問をどのモデルに送るかを選ぶ仕組みが、実はうまく動いていないということですか?
そうです。8 つのタスクカテゴリー、14 の条件で試したところ、どのツールもコストが同じで 2 つのモデルからランダムに選ぶだけのツールより性能が劣り、中には 10 ポイント以上下回るものもありました。
ランダムな方の方がいいというのは意外です。期待通りの結果を出せない原因が 4 つもあるんですね。
論文では 4 つの傾向が原因だと指摘しています。質問の難しさを正しく見極められず、かえって中程度の難易度の質問ほど重いモデルに送る逆転が起きることです。短い質問ほど重いモデルに割り当てられる長さの逆転、質問の元がどこかだけで振り分ける意味の一致、そしてモデルのリスト選びが最適でない roster の非最適性です。
roster の非最適性というのは、もう少しやさしく言うとどうなりますか。
揃えたモデルの数が多いほど精度が上がるとは限らないということです。レストランのメニューを充実させれば料理が上手くなるという前提が間違っているのと同じです。
料理の味に例えると分かりやすいです。では、著者たちはどう対策したんですか?
4 つの傾向を避ける 2 つのモデルだけのシンプルなルーティングツールを設計しました。従来の評価方法がこうした振る舞いを報酬として与えているため、コストと精度のバランスで測ると、難しい質問を避けて中程度の質問を優先し、長い質問より短い質問を優先し、質問の難しさより発信元だけで選ぶ方がスコアが上がりやすくなります。
評価の仕方が歪んでいるから、ツールも歪んだ方向に最適化されるんですね。結局、モデル選びが大事で、ルーティングの仕組み自体に大きな意味はないということですか。
論文ではモデルの粒度と特化という、大きなリストを正当化する2つの前提が実証では成り立たないと指摘しています。
大規模なリストを広げる仮定が成り立たないなら、ツールを作る側はどのようにモデルを選べばいいんですか。
2つのモデルで十分というのは言い過ぎで、要旨では6つの商用ルーターが2つのモデルからランダムに選ぶルーターにすら勝てなかったと報告しています。
要旨には実用段階に入ったかどうかや今後の課題についての言及はない。
研究チームは簡単な二モデルの振り分け方式を試作として示しただけです。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。