VLMの安全と有用性を両立させるOPSD、少量データで推論コストを下げる話

論文

VLMの安全と有用性を両立させるOPSD、少量データで推論コストを下げる話

スポンサーリンク

OPSDが、95%少ないデータで訓練時間を5倍に短縮し、推論長を7%削減した。

この記事のポイント

  • VLMは安全と有用性の両立が困難
  • 意図を教師信号とした単一ロールアウトで学習
  • SIUO+HoliSafeで成功率が43.9%から53.5%に向上

数字で見る

この記事に出てくる数字

安全例数 1,447
データ削減 95%
訓練時間削減 5x

どこで使えるか

安全と有用性の両立を効率的に実現したい人向け。95%少ないデータで5倍速く訓練可能 arXivで公開済み 5x削減はGRPO比較。7%は推論長

スポンサーリンク

解説

かみくだいて説明します

Haotian Dengらの研究チームが、画像と文章を組み合わせて使うモデルの安全と親切さの両立を改善する新しい学習手法を公開しました。この手法は、見かけは普通でも組み合わせると危険な答えを出すリスクに対し、拒否するのではなく安全に答えられる形に導きます。
組み合わせると危険な答えが出るんですか? 今までのモデルは、そういう時どう対応していたんですか?
多くの場合、安全を優先して質問そのものを断っていました。断らないと危険な場面が増えるためです。しかし、断られるとユーザーは役に立たないと感じます。そこで研究者たちは、モデルが「何を意図して聞かれているか」を判断する力を訓練で身につけさせることにしました。
意図を判断する力ですか。そこがまだ掴めません。具体的にどう働くんですか?
画像と文章を別々に見ると問題ないのに、一緒に見ると危険な答えを出す現象を、私たちは「クロスモーダルな隠れたリスク」と呼んでいます。例えば、普通の写真に特定の文字を組み合わせると、モデルが誤った判断を下す場合があるのです。
なるほど。それをどうやって修正するんですか?
先生となる大きいモデルから、生徒となる小さいモデルへ知識を移す仕組みを使います。ただし、今回使うのは質問ごとの回答を何回も試すのではなく、たった1回分のデータだけで十分です。これにより、必要な安全訓練の例は1,447件で済み、従来の95%少ないデータ量で済みます。
1,447件だけで済むなら、開発現場の負担がかなり減りますね。訓練にかかる時間はどれくらい短縮されるんですか?
従来の複数回試す訓練方式と比べ、およそ5倍短縮されます。推論時の回答長さも7%短くなります。安全でかつ役に立つ回答の成功率は、5つの評価グループすべてで最高を記録し、特にSIUOとHoliSafeを合わせた評価では43.9%から53.5%に上がりました。
成功率が10ポイント以上上がりますね。意図を教えることで、拒否が減って親切さが保たれるわけですね。
正確にはその通りです。意図という手がかりを使うため、安全と親切さの両立が図れます。追加の安全モジュールを付けなくても、生徒モデル単体で対応できる点も特徴です。
では、この手法はすでに実用段階に入っているんですか。
要旨には、1,447例という少量のデータで5倍の訓練時間短縮を実現し、安全性と有用性の両立を達成したとあります。
最後に、この手法の次の課題は何か分かっていますか。
学習のときに意図を手がかりとして教えることで、少ないデータでも安全性と有用性の両方を高められました

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文