感情を認識する Evidential Multimodal Transformer、矛盾するデータを扱う話

論文

感情を認識する Evidential Multimodal Transformer、矛盾するデータを扱う話

スポンサーリンク

EMT-DSが感情認識で精度を上げ、矛盾データでも正しく振る舞う

この記事のポイント

  • 矛盾データでも高信頼度を出す
  • 不確実性を分離して融合
  • 4ベンチで最高。ただし限定的

数字で見る

この記事に出てくる数字

IEMOCAP精度 84.3%
DEAP精度 82.4%
KEMDy20精度 96.8%

どこで使えるか

矛盾データを扱いたい人向け。不確実性を分離し、矛盾を明示的に処理する arXivで公開済み コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

Muhammad Usamaらの研究チームが、感情認識モデルの新しい手法 EMT-DS を arXiv に公開しました。顔の表情と声のトーンが矛盾するデータでも、過信せずに正確に判定する仕組みです。
表情と声の情報が食い違う場合、従来のモデルはつい自信を持って判定してしまっていたんですね。この手法は矛盾をどう扱うんですか?
矛盾した証拠を衝突として明確に数値化し、融合係数 1 割る 1 マイナス c で正規化します。従来のソフトマックス関数が強制的な合意を導く代わりに、この手法は融合後の予測を拡散させ、証拠が不十分な場合は判断を保留する形になります。
証拠が足りない時は判断を保留する。では、判断を保留する基準は研究者側から見てどこが新しいんですか?
予測をディリクレ分布という確率の枠組みで扱い、証拠不足による不確実性とセンサーノイズによる不確実性を分離します。ディリクレ分布という専門用語を使っていますが、これは意見の確からしさを三角形の頂点の位置で表す計算式です。証拠が揃うほど頂点が特定の方向に寄って、判断が明確になります。
証拠が揃うほど形が尖って精度が上がる。では、実データでの精度はどのくらい向上したんですか?
4つのベンチマークで検証し、IEMOCAP で 84.3%、DEAP で 82.4%、KEMDy20 で 96.8% を達成しました。最も強い従来手法をそれぞれ上回っています。
精度が確実に上がっています。音声データに強いノイズが乗った場合の耐性はどうですか?
音声特徴量に標準偏差 sigma = 1.0 のガウスノイズを加えた制御実験で、精度 71.2% を維持しました。アテンションベースの従来手法が 45.3% まで落ちる中、この差は大きいです。完全なモダリティが欠落した場合も、精度が急落せず段階的に低下します。
欠落しても急落しない。では、開発者が組み込む際の計算コストは従来の方式より軽くなるんですか?
融合ステップの計算量は O M K 2 乗です。従来のクロスモーダルアテンションが O M 2 d 2 乗でしたから、モデルの規模が大きくなっても負担が増加する度合いは緩やかになります。
計算負荷が抑えられる。最後に、この手法が臨床や安全が求められるシステムでどう活かされるんですか?
学習した衝突指標が誤分類の可能性を特定します。サンプルの 20% を確認するだけで誤分類の 80% を捕捉でき、必要な場面だけ判定を実行する選択的予測が可能になります。ただし、実際の臨床現場への組み込み時期や、他の感情データセットでの検証結果については、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文