PLC-DPOが、不正確な学習信号を補正して DPO より勝率を高めた
この記事のポイント
- DPOはペア比較で学習するが、実際のデータには誤ラベルが含まれる
- 各ペアの信号を正解・反転・同点に振り分け、正解方向と強さを補正する
- 57件の組み合わせでDPOより勝率が高く、ノイズ注入テストでも安定した
数字で見る
この記事に出てくる数字
| DPO対勝率 | 60.5% |
|---|---|
| 2番手勝率 | 55.5% |
| 評価セル数 | 57 |
どこで使えるか
DPOでノイズに弱い人向け。正解・反転・同点を判別して信号を補正する GitHubで公開済み 学習データやベンチマークの特定は要約にない
動画を見る
スポンサーリンク
解説
かみくだいて説明します
人工知能の学習手法、DPOの弱点を直すPLC-DPOという新しい手法が発表されました。57のデータセットとモデルの組み合わせで調べた結果、60.5パーセントの勝率を記録し、次の手法の55.5パーセントをリードしています。
60.5と55.5の差ですね。既存のDPOはなぜ信頼できない結果を出していたんですか。
既存のDPOは、人間が示した好き嫌いすべての比較をそのまま信用して学習を進めていました。実際のデータには逆のラベルや、はっきりしない曖昧な比較が混じっていて、それが誤った方向への学習を招いていたのです。
混じり気のあるデータをそのまま使っていたら、確かに外れてしまいますね。信号を3つに振り分ける仕組みは、モデルの自信度合いを基準に判断しているんですか。
各比較ペアの信号を、正しい場合、逆の場合、引き分けの場合の3つに振り分けています。モデルが自信を持っているかどうかを基準に、信号の方向と強さをその場で修正する仕組みです。
信号の方向と強さを修正する、ということですが、そこがまだ掴めません。もう少し具体的に言うとどうなりますか。
分かりやすい例で言うと、テストの答え合わせのようなものです。正解のマークが正しい位置にあればそのままで良いですが、うっかり逆の丸に印を付けていた場合や、線が薄くてどちらか分からない場合は、採点者がその場で印を訂正したり、加点を控えたりするイメージです。
採点者がその場で印を訂正する、という話ですね。開発する側からすると、この手法は既存のコードに組み込むだけで使えるんですか。
GitHubで公開されているコードをベースに、信号を3つに振り分ける部分を追加する形になります。既存の学習パイプラインの途中に挟むだけで良いので、大きな書き換えは要りません。
では、この手法の限界や、まだ解けていない点について教えていただけますか。
注入ノイズや引き分けのストレステスト、人間の意見が割れたケース、自分自身で確認する診断では、振り分けが安定していることを確認しています。ただ、現実のデータに潜むもっと複雑な曖昧さや、極端に偏った分布のデータへの対応については、そこはまだ分かっていません。
複雑な曖昧さへの対応は、今後の検証次第という話ですね。最後に、この手法の次の展開について教えていただけますか。
PLC-DPOは57のデータセット・モデル・ベンチマークの組み合わせで最良の平均勝率を達成し、ノイズ注入テストや人間不一致分析でもルーティングの安定性が確認されています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。