顔の筋肉の信号から音声テキストを復元するMyovox、既存の発話認識を改善する話

論文

顔の筋肉の信号から音声テキストを復元するMyovox、既存の発話認識を改善する話

スポンサーリンク

Myovoxの音声復元精度が18.53%に向上。

この記事のポイント

  • 従来手法は因果エンコーダーで26.14%WER
  • 双方向Conformerと7B言語モデルで18.53%WER
  • 音響のPER約20.9%が限界で9.30%には及ばない

数字で見る

この記事に出てくる数字

sEMGチャネル数 31ch
テスト文数 400文

どこで使えるか

顔の筋電図から音声テキストを復元したい人向け。単一被験者のデータに限定される コード公開の記載なし 学習済みモデルの公開も不明

スポンサーリンク

解説

かみくだいて説明します

顔の筋肉に貼る31チャンネルの筋電図センサーから、話している内容を英語の文章として読み取る技術を開発したのが、Varshith Madishettyです。公開されていたモデルの単語誤り率を51.17%から18.53%まで下げることに成功しました。
顔の筋肉の動きを文字に変えるんですね。31チャンネルのセンサーから、どうやって単語の誤り率を51.17%から18.53%まで下げられたんですか。
三つの段階を踏んでいます。まず公開されていた設定を取り戻して、40.63%の基準を作りました。次に、音声を分析する既存のモデルの特徴を参考にして双方向のネットワークに置き換えた段階で26.14%になります。最後に、7Bの言語モデルで候補を並び替えるのですが、これは辞書引きではなく、まず複数の候補を出して、その中から最も文章として自然な順番に並べ直す作業に近いです。
辞書引きではなく、複数の候補から自然な順番に並べ直すんですね。この並び替えの段階で、誤り率が18.5%で頭打ちになる理由は何ですか。
並び替えの段階が限界なのではなく、最初に筋肉の動きから読み取る段階で、およそ20.9%の誤り率が出てしまうからです。最初に出る候補の中に正解の単語がそもそも入っていない場合、その後の並び替えでは正解に辿り着けません。9.30%の理論値に届かないのは、この最初の読み取り精度が壁になっているためです。
最初の読み取り精度が壁で、並び替えでは正解には届かないんですね。31チャンネルのセンサーから読み取る場合、個人差はどの程度影響するんですか。
個人差についての詳細な数値は、この発表では示されていません。ただし、テストは著者の公式に分けられた400文のデータセットで評価されており、すべての設定は検証用で一度調整してから、テスト用で一度だけ適用しています。
検証用で一度調整してテスト用で適用するんですね。双方向のネットワークに置き換えた段階で26.14%まで下がったのは、既存の音声モデルの特徴を参考にする手法が効いたんですか。
既存の音声モデルが既に習得している音の特徴を、筋肉の信号にも転写しているためです。音声モデルが9番目の層で捉えている音の輪郭を参考にするので、筋肉の信号だけでは分かりにくい音の区別が明確になります。これにより、31チャンネルの信号からでも、より正確に音素を識別できるようになります。
音声モデルの音の輪郭を参考にして、筋肉の信号の区別を明確にするんですね。この技術を組み込む場合、専用のハードウェアが必要になりますか。
必要なハードウェアの詳細については、この発表では明言されていません。ただし、31チャンネルの表面筋電図センサーを顔に貼って記録する仕組みであり、記録された信号をネットワークに入力することで文章を読み取る構造になっています。
最後に、この技術は音声認識の代替として実用化される見通しは立っていますか。
音声認識の代替として実用化される見通しは立っていますが、その限界は筋電図の音素誤り率に起因しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文