LLM ルーティングが非標準英語を低能力モデルに振り分けている
この記事のポイント
- 複雑度でLLMを振り分けるルーティング
- 入力長を信号にするルーティング手法
- 37,704組の文で検証。各モデル層で偏り
数字で見る
この記事に出てくる数字
| 評価ペア数 | 37,704 |
|---|
どこで使えるか
非標準英語話者や多言語ユーザー向け。モデルの偏りを補正したい運用者向け。 arXivで公開済み 評価データは学習者文ペア
スポンサーリンク
解説
かみくだいて説明します
Simran Koul さんが調べた結果、大規模言語モデルのサービスでは、質問の難しさを簡単に推定して、易しい質問は小さなモデルに、難しい質問は大きなモデルに振り分ける仕組みが広がっています。
難しさを判断してモデルを選ぶわけですね。その判断基準に偏りが出るというのは、具体的にどのくらいの差が出るんですか。
3万7704組の学習者による文章のペアで調べた結果、標準的な英語で書かれた質問と同じ内容でも、アフリカ系アメリカ人の英語や第二言語話者の英語で書かれた場合は、能力が低いモデルに割り当てられる傾向がはっきり出ました。
中身が同じなのに、書き方だけで選ばれ方が変わるんですね。システムが文章の長さを簡単さと同一視している証拠です。
原因は文章の長さです。非標準的な英語では機能語と呼ばれる助詞や助動詞が省略されやすいため、同じ意味でも文字数が短く見えます。システムはその短さを簡単と判断して小さなモデルに送ってしまうのです。
機能語というのは、もう少し分かりやすく言うとどうなるんですか。
文の骨組みを支える、は、です、に、という種類の言葉です。例えば私が学校に行くという文と、私学校行くという文では意味は同じでも、前者は骨組みの言葉が含まれているためシステムには長く、後者は短く感じられます。この長さの差が振り分けの偏りを生んでいます。
モデルの段階すべてで差が出ますが、要旨ではルーティング自体のコストは有意ではないとされています。
はい。端末向け、エッジ向け、クラウド向けのモデルの段階すべてで、非標準的な英語に対する回答精度が標準的な英語より有意に低くなりました。振り分け自体が直接もたらす精度の低下は測れる範囲では小さかったものの、どのモデル層でも偏りが存在するため、結果として偏りが積み重なる形になります。
どの段階のモデルでも正確さに差が出るというのは、開発現場ではどう捉える話になりますか。
複雑さに基づく振り分けでは、文章の長さが判断材料になるため、特定の話し方のユーザーが下位のモデルに割り当てられる傾向があります。長さ以外の指標も組み合わせて検証する必要があるという位置づけです。
では、検証手法についてですが、学習者の実際の文章に加えて、意味を揃えたデータでも同じ傾向が出たというのは、偏りが偶然ではないことを示しています。
学習者の実際の文章ペアに加えて、意味を揃えて制御した並列コーパスでも同様の偏りを確認しています。ただし、振り分けの直接影響が有意でなかったのはこのベンチマークに限られるため、そこはまだ分かっていません。
最後に、この結果を受けてシステム側が取るべき対応として、最も優先されるべき点はどこになりますか。
対応として重要なのは、非標準的な英語表記が短く見えることで低能力モデルに振り分けられるメカニズム自体を是正することです。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。