WMVが、ラベルなしで判定バイアスを補正し、性能向上と寛容さの是正を同時に実現した
この記事のポイント
- 絶対スコアで能力が判断精度を左右
- 誤検出偽陰性率で重み付けし多数決
- シミュで誤り率オラクルに平均0.5pt
数字で見る
この記事に出てくる数字
| 精度相関 | r≥0.90 |
|---|---|
| 方向バイアス | r≤-0.83 |
| 寛容さ相関 | r≥0.83 |
どこで使えるか
自動採点のバイアスを補正したい人向け。ラベル不要で多数決の重みを調整 arXivで公開済み コードの公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Gemma Zhang さんたちの研究チームが論文を発表しました。人工知能が別の人工知能の答えを採点する際、能力の高いモデルほど採点者が甘く見てしまう傾向を、4 つのテストと 6 種類のモデルで突き止めました。
能力が高いほど甘く見るんですか。それは採点する人工知能の問題ですか、それとも被採点側の問題ですか。
採点する側の傾向です。正確に答えられるモデルほど、採点の精度は上がりますが、方向性としては甘めの点数になりやすくなります。正確さだけで見れば、ほとんどのモデルで相関係数0.90以上で精度がpredictされますが、甘さのほうは0.83以上で強く出ました。
相関係数というのは、2 つの数字がどれくらい一緒に動くかを見る尺度ですね。では、この甘さをどうやって正すんですか。
そうです。正確には、複数の人工知能に採点させて、それぞれの誤りやすいパターンに合わせて重みづけをし、多数決で最終点を決める方法です。間違えて合格と判定するケースと、不合格と判定するケースのバランスを、正解の答えを見ずに計算します。
正解の答えを見ずに計算するんですか。それは現場で既に使われている採点のやり方を置き換える話ですか、まだ実験段階の話ですか。
論文ではシミュレーションの実験で検証しています。タスクの難易度が変化する環境で、正解の誤り率を完璧に知っている理想の基準と比べたところ、平均して 0.5 パーセントポイント以内の誤差で追従しました。個別の人工知能や、重みづけなしの多数決よりも精度が上がります。
0.5 パーセントポイント以内というのは、かなり近い数値ですね。ただ、すべての人工知能にこの重みづけを導入するのは、計算量が増えそうですが。
材料には計算量やコストについての記述はありません。そこはまだ分かっていません。ただし、正解のラベルが要らないため、新しいタスクが増えるたびに手動で答えを準備する手間が省けるのは確かな利点です。
では、研究している人から見ると、これまでは何ができていなかったんですか。
従来の研究の多くは、2 つの答えを比べてどちらが優れているかを見る pairwise、つまり比較採点という形式に焦点を当てていました。今回の論文は、絶対的な点数を付ける絶対採点という形式に注目しました。現実のモデル開発では、点数で段階的に評価する場面の方が多いため、より実用的な課題に対応した形です。
絶対的な点数を付ける形式が、現実には多いんですね。最後に、この重みづけの手法は、他の人工知能の採点システムでも応用が利きますか。
正解の答えが要らないため、応用の幅は広いです。ただし、この論文で使われた 6 種類のモデルがすべてに対応できるかどうかは、まだ検証されていません。今後の研究で、より多くのモデルや異なるタスクでの適用例が示されるのを待つ形になります。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。