EMOが 8 モデル 6 ベンチで 40 中 39 改善。
この記事のポイント
- 文脈更新の強さを制御できなかった
- EMOで文脈更新とロジット補正を交互に実行
- 8モデル6ベンチで40設定中39設定改善
どこで使えるか
テスト時の推論コストを増やしたくなく、モデルを再学習せずに精度を上げたい人向け。
スポンサーリンク
解説
かみくだいて説明します
Wei Xiaらの研究チームが、新しい枠組み「EMO」を発表しました。凍結モデルに学習を追加せずテキストフィードバックだけで改善する仕組みで、8つのモデルと6つのベンチマークで検証したところ、平均でおよそ9.10ポイントの差をつけました。
学習なしでそこまでの伸びが出るんですか。組み込む技術者から見ると、手元で動かすのに何が要りますか。
外部判定モデルから得たテキスト勾配でシステムプロンプトを書き換えるステップと、書き換えた前後の次のトークンの分布を比較して出力を補正するステップを交互に回します。理論的には対象のKL分散が一回の更新で減少することを証明しています。
分布の比較って、要するに答えの確からしさを測って、外れた部分を引っ張る感じですか。
正確には、選んだ候補と前の候補の差をベクトルとして取り出し、それを補正の方向に使う形です。水道の蛇口を少し回して水量を変えるイメージに近いです。
なるほど。正解を教えなくても回せるんですか。
正解は使わずに外部判定モデルのテキスト勾配だけで書き換えを回します。検証設定40のうち39で基準値を上回り、既存のコンテキスト最適化だけを単独で使ったTextGradよりも平均でおよそ1.53ポイント上回りました。
では、計算リソースの配分はどう見ているんですか。
候補の生成と検証にテスト時の計算を同時に割り当てる方向で整理しています。候補数を抑えてもoracle coverageがほとんどの比較で上回ったことから、生成側と判定側を一緒に最適化する方が効率が良いと見ています。
生成と判定を分けて回すより、同じリソースで両方見る方が強いわけですね。
そうです。ただ、外部判定モデルの選び方や勾配の安定性については、そこはまだ分かっていません。
最後に、実装の公開予定は聞けるんですか。
公開の日程やライセンスの範囲については、そこはまだ分かっていません。今後、Wei Xiaらのチームから追加の発表があるかどうかは、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。