Sophea、ギリシャ語と英語の音声認識を量産する話

論文

Sophea、ギリシャ語と英語の音声認識を量産する話

スポンサーリンク

Sopheaはギリシャ語と英語の音声認識で、9つの基準を同時に満たすデータ構成がなかった。

この記事のポイント

  • 2言語の自動音声認識システムを構築
  • 9つの評価基準を同時に満たすデータ構成は得られず
  • 3モデルのアンサンブルで閾値を全て通過

どこで使えるか

多言語音声認識を自前で構築する人向け。データ構成のトレードオフとアンサンブルで実用閾値を通過 モデル重みは公開されていない メソッドと定量的結果のみ報告。データも非公開。

スポンサーリンク

解説

かみくだいて説明します

Christos Petrocheilos たちの研究チームが、ギリシャ語と英語の両方に対応する音声認識システム Sophea の開発報告を arXiv に出しました。23 回の学習と 2 つのモデル構成で 9 つの品質基準を測りましたが、どのデータ構成も一度にクリアしませんでした。
全部の基準を満たすデータがなかったんですか。ギリシャ語と英語のバランスはどうなったんですか。
ギリシャ語のノイズが多い環境の目標を満たすにはおよそ 1,500 ステップの専門データへの慣れが必要でしたが、英語の言語識別を維持できるのはおよそ 250 ステップだけでした。混ぜ替えるとおよそ 1,250 ステップでギリシャ語の精度が下がりました。
データを混ぜ替えると精度が下がる代償だったんですね。フィルターの調整でどれくらい捨てずに済んだんですか。
混ぜ替えるとギリシャ語の精度が下がりました。6 段階のデータ処理で、音声の品質を選り分けるフィルターの感度を現場の音声を基準に合わせたところ、除外していたギリシャ語の音声の割合を 98.7 パーセントから 10.6 パーセントに減らしています。
98.7 パーセントも捨てていたんですか。専門の現場の音声を基準に合わせたんですね。
専門の現場の音声を基準にフィルターの感度を合わせたからです。3 つのモデルを組み合わせる ROVER という手法は、まるで複数の翻訳者が最終草案をまとめるような作業で、個別のモデルが 4 から 7 個だった合格数を 9 個すべてに引き上げました。
複数の翻訳者が草案をまとめる作業なんですね。重なり合った音声の誤り率はどう変わりましたか。
その通りです。重なり音声の誤り率は 53.35 パーセントから 37.87 パーセントに下がり、およそ 29 パーセントの相対改善です。英語のテスト 8 件では平均 4.26 パーセント、実際のギリシャ語ノイズ環境では 25.88 パーセントの誤り率です。
29 パーセントの改善は大きいですが、公開されているのは英語のテスト結果だけなんですね。
公開されているのは sophea/asr-k1 というプレビュー版です。モデルの重みや学習データは出さず、手法と数値だけ報告しています。測定ツールが正しいと見えた誤りの例が 5 件、船出せずに終わった手法が 7 件あります。
では、実際の現場で使う側は、手元で動かすのに何が要るんですか。
データと重みが非公開のため、現時点では外部への組み込みはできません。
最後に、ノイズ環境のギリシャ語で 25.88 パーセントの誤り率ですが、今後どこを改善する予定ですか。
データ構成のトレードオフをどう解決するか、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文