Qwen3-14Bの回答選別モデルが、正解率を上げつつカバー範囲を広げた
この記事のポイント
- 正解報酬でモデルに判断を学ばせた
- Qwen3-14Bで回答選択器を学習
- 回答率は改善も、全データで確実な拒否は未解決
どこで使えるか
正解率とカバー範囲の両立を図る人向け。回答選別モデルの学習手法が要る コードの公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Juan Tervenらの研究チームが、arXivに論文を出しました。言語モデルが事実を問われたとき、答えるべきか黙るべきかを判断する別の部品を訓練したところ、確信度によるフィルタを上回る結果が出ました。
別の部品で選ぶという仕組みなんですね。では、実際にモデルを組み込む技術者から見ると、いま現場で使われている確信度による判断を、この新しい部品に置き換えるだけで済む話ですか。
置き換えるのは容易ですが、条件が一つあります。正解を返したときに得点を上げ、間違いを返したときに減点し、答えられないときは回答を飛ばすというスコアで訓練する必要がある点です。
得点と減点で訓練するんですね。確信度だけで選んでいたのと、具体的にどう違うんですか。
確信度では、モデルが自信があると思った回答をそのまま通すだけでしたが、スコア訓練では自信があっても間違っていれば減点されるというルールが染み込みます。例えばテストで、答えられる問題だけ答えて正解率を稼ぐ作戦に置き換わるイメージです。
正解率を稼ぐ作戦になるんですね。では、この手法を実際に使っている立場から見ると、答えられない問題を飛ばす割合がどれくらい変わるんですか。
TriviaQAというデータセットでは、答える問題の割合が20.2%から30.9%に増え、答えた問題の間違いの割合は23.0%から14.5%に下がりました。ただし、別のデータセットでは、常に黙っていた方がまだ上回る場合もありました。
間違いがほぼ半減するんですね。では、研究している人から見ると、常に黙った方が上回るデータセットが出てくる理由は何ですか。
データセットによって問題の難易度や正解の出し方が異なるためです。強化学習で試した変更には、データセットを跨いで一貫した改善が見られませんでした。
強化学習の方は期待外れだったんですね。では、答える問題を学習で選ぶ方向性は支持されるんですか。
支持されます。正解を選別する別の部品の訓練が、確信度によるフィルタを上回る根拠になっています。
支持されるんですね。最後に、この先どうなるんですか。
答える問題を学習で選ぶ方向性は支持されますが、データセットを跨いで確実に黙れるようになるには、まだ解決すべき課題が残っています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。