PHASEFUSIONが、フレーム位相のズレによる回答の揺らぎを18.2%から10.1%に抑制した
この記事のポイント
- フレーム抽出の位相で正答率が揺れた
- 位相をずらした3グリッドを融合
- 位相シフトの影響を18.2%から10.1%に削減
数字で見る
この記事に出てくる数字
| 位相オフセット差異 | 23.6% |
|---|
どこで使えるか
フレーム抽出の位相で回答が揺れるのを抑えたい人向け。3グリッド融合で安定した評価が得られる arXivで公開済み 32フレーム1パス相当の精度を維持
スポンサーリンク
解説
かみくだいて説明します
Lichen Zhuらの研究チームが、動画と会話ができるAIのテスト方法について、十月七日に論文を発表しました。フレームを均等に並べる格子の選び方によって、正解率が同じでも答えが23.6%変わることを、二つの実用モデルで確認しています。
格子の選び方って、テストに出す動画の切り取り方ですか。では、切り取る位置を少しずらすだけで、こんなに答えが変わるんですか。
そうです。動画を一コマずつ見て判断する際、始めに何コマ目から見るかというズレがあるだけで、同じ問題でもおよそ五分の一ほどの答えが入れ替わります。例えば同じ映画の場面を、三秒目から見るか四秒目から見るかの違いです。スコアは一点以内なので、テストの点数だけ見ると実力が変わっていないように見えますが、実際には別の選択肢を選んでしまっています。
なるほど、点数は同じでも中身が違う。では、このズレをなくす方法は、研究している人から見るとあるんですか。
あります。PHASEFUSIONと呼ばれる手法は、三つのズレた格子で別々に読み取って、それぞれの答えの確率を平均します。32コマで一回だけ読み取る単発の評価と精度を同じに保ちつつ、格子をずらしたときの答えの揺れを18.2%から10.1%に減らしています。
18.2%から10.1%に下がった。では、選択肢の並び順を変えたときの影響はどう出るんですか。
選択肢の並び順は、テストの形式を変えるだけで中身は変えていませんが、一回の読み取りだけで答えを判断する場合、その並び順のせいで正解率が変わる幅がはっきり出ます。つまり格子のズレはスコアを隠しますが、並び順のズレはスコアに直接響くということです。
並び順はスコアに響く。では、AIを組み込む技術者側からすると、このテストを現場で使うとき、どこに気をつければいいんですか。
格子の始めの位置を報告と一緒に明記するか、あるいは複数の位置で平均してしまってズレの影響を消すかのどちらかです。どちらのやり方を選ぶにせよ、同じ条件で比べられるようにしておけば、モデルの本当の実力が見えてきます。
明記するか平均するか。最後に、この手法はすでに実用のモデルに組み込まれているんですか。
そこはまだ分かっていません。論文では評価手法の改善提案までしか触れておらず、実際の製品への反映時期や対応予定については、研究チームから発表がない状態です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。