多人数の会話から特定の話し手を消す ASR ECG、推論時に新しい拒否者を追加する話

論文

多人数の会話から特定の話し手を消す ASR ECG、推論時に新しい拒否者を追加する話

スポンサーリンク

ECGが、推論時に新しい拒否者を追加しても既存話者の誤りが変わらない性能を出した

この記事のポイント

  • 動的拒否手法は未確立だった
  • ECGモジュールで動的拒否を実現
  • AMIの拒否者転写精度は72.3%から48.2%に低下

どこで使えるか

推論時に拒否者を追加したい人向け。既存話者の誤りが変わらない arXivで論文公開済み AMI英語とAliMeeting中国語で評価

スポンサーリンク

解説

かみくだいて説明します

複数人の会議録音から特定の人の発言だけ消すって、プライバシー保護の観点からすごく求められる技術ですよね?
確かにその通りです。ZoomやTeamsなどのビデオ会議で、参加者がAI文字起こしから自分の発言を除外したいという需要は確実に増えています。
でも既存の音声認識モデルだと、一度学習した話者の情報を後から消すのは難しいんですか?
その通りです。凍結モデルにECGモジュールを接続することで、学習済み話者以外も動的に対応でき、プライバシー保護が実現できます。
arXivで公開された本研究では、凍結済みのデュアルストリーム音声大規模言語モデルに、軽量なECGモジュールを接続する新手法が提案されています。
ECGモジュールって、具体的にはどういう仕組みなんですか?
ECGモジュールは、話者の enrolment 情報を条件として入力し、ゲート機能で対象話者の音声特徴を動的に遮断する、軽量なモジュールです。
なるほど、モデルを再学習せずにその場だけで話者を除外できるんですね!
実際の精度低下や精度維持の効果はどのくらいあるんですか?
AMI英語データセットでは対象話者の認識正解率が72.3%から48.2%に低下し、AliMeeting中国語データセットでは73.6%から27.3%に低下しました。一方、参加を許可した話者の認識誤り率はほぼ同等を維持しています。
対象外の話者の発言は確かに消えて、他の話者の精度は保たれているんですか?
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
はい、確かにその通りです。ECG モジュールは凍結された双方向音声LLMに接続する軽量なモジュールであり、推論時に新しいオプトアウト話者を動的に処理できます。
実際の開発現場で試すにはどうすればいいんですか?
AMIやAliMeetingデータセットで実験しており、英語と中国語で検証されています。プライバシー配慮型AIの標準機能化に向けた第一歩として、今後さらに発展が期待されます。
AMIとAliMeetingでの検証では、英語と中国語でそれぞれ72.3%から48.2%、73.6%から27.3%に精度が低下し、残された話者のエラー率はほぼ同じでした。プライバシー配慮型AIの標準機能化に向けた第一歩として、今後さらに発展が期待されます。
参加者が気軽にプライバシー設定を選べる未来が近づきましたね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文