多モーダル検索エージェントの訓練を改善する MMSearch-OPD、データ拡張と学習手法の話

論文

多モーダル検索エージェントの訓練を改善する MMSearch-OPD、データ拡張と学習手法の話

スポンサーリンク

MMSearch-OPDが、長い調査タスクでの多モーダル検索能力を向上させた。

この記事のポイント

  • 長期マルチモーダル検索の学習が難しかった
  • 推論連鎖を拡張して合同学習で訓練した
  • SFT後に改善。ただし評価範囲は限定

どこで使えるか

○「長い調査タスクで検索精度を上げたい人向け。SFT後の改善が期待できる」 論文公開済み(arXiv) SFT後のjoint trainingで改善

スポンサーリンク

解説

かみくだいて説明します

Huanyao Zhangらが arXiv に論文を発表しました。マルチモーダル検索の訓練手法「MMSearch-OPD」を提案し、画像とテキストを組み合わせた複雑な質問に、段階的に答えを導く能力を向上させました。
複雑な質問に段階的に答えを導く、具体的には何回くらい調べ物を繰り返す話なんですか?
画像とテキストを組み合わせた証拠を次々と集めながら答えを絞り込む、長期の調査タスクを対象にしています。従来は短い質問に即座に答えるモデルが主流でしたが、今回の手法は証拠を段階的に収集しながら答えを導く訓練を可能にします。
なるほど、証拠を次々と集める訓練ですね。ただ、そんな長い訓練をするには、どれくらいの計算資源が必要になるんですか。
計算資源の具体的な数値については、そこはまだ分かっていません。ただし既存の画像と質問のペアを流用して訓練データを自動で拡張する Refine という工程を組み込んでいるため、ゼロからデータを準備する手間を大幅に削減できます。
既存のデータを流用して拡張するんですね。では、その拡張したデータでモデルを動かすとき、RL と OPD はそれぞれ何を意味するんですか。
RL は正解にたどり着いた時に報酬を与えて試行錯誤させる手法で、OPD は正解を導ける先生モデルの動きを、生徒モデルがなぞるように訓練する手法です。例えば先生が黒板で解き方を一つ一つ示しながら、生徒が黒板の前で同じ手順を繰り返して覚えるイメージに近いです。
先生の手順を生徒がなぞって覚える、確かに分かりやすい例えですね。ただ、生徒がまだ上手く動けない段階で、先生が口出しをしすぎると逆効果になりませんか。
その点を避けるために、訓練が進むにつれて先生モデルの影響を段階的に弱める仕組みを組み込んでいます。具体的には指数関数的に減衰する係数を使って、生徒が自分で答えを導けるようになってきた段階で、先生の指示を自然に控えめにします。
生徒が自分で答えを導けるようになったら、先生の指示を控えめにするんですね。では、この手法を適用した後の精度は、従来手法と比べてどれくらい上がるんですか。
精度が何パーセント上がるかという具体的な数値は、材料に明記されていません。ただし、データ拡張の効果と、RL と OPD を組み合わせた共同訓練の効果が、それぞれ独立に確認され、両方を合わせた場合にさらに向上することが実験で示されています。
独立の効果と共同訓練の効果が重なって向上する、なるほど。最後に、この手法が実用化されるのはいつ頃だと見込まれていますか。
データの精緻化に加え、訓練後の結合学習でも効果が積み重なり、長い検索でのマルチモーダル能力が強まったと報告されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文