CTCと言語モデルの組み合わせが、LibriSpeechでOOV文字誤りを最大14.97%減らした
この記事のポイント
- テスト時の未学習語を認識できなかった
- CTC音響モデルと言語モデルで語彙を拡張
- LibriSpeech等でOOV文字誤り率を削減
どこで使えるか
テスト時の未知語を認識したい人向け。CTCと言語モデルで語彙拡張 arXivで公開済み LibriSpeechと障害者データでのみ評価
スポンサーリンク
解説
かみくだいて説明します
ASRって、日常会話で新しい名前や専門用語が出た瞬間に途端に聞き取れなくなるんですよね?
確かに、人間の耳は文脈から推測して一度で覚えますが、従来のシステムは訓練データに含まれていない単語を無条件に誤認識します。
既存の手法だと、その都度ラベル付きデータを集めてモデルを再学習するしかないんですか?
再学習は膨大なコストと時間がかかるため、実時間のテストデータへの即座の適応は現実的ではありません。
そこでarXivに公開された本論文では、テスト時に未学習の単語を教師なしで適応させる手法が提案されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
まるで辞書引きと文脈推測を並行して行うような構造です。固定されたCTC音声モデルが文字列候補を提示し、固定された言語モデルが文脈の証拠を提供します。適応モジュールがCTCの候補分布からトークン表現を学習し、KLD最小化で文字列モデルを最適化します。
なるほど!CTCがスペルを提案して、言語モデルが文脈で絞り込む双方向のフィルタリングなんですね!
正確にその通りです。メモリ配置は各モジュールが独立して保持され、推論時の同期オーバーヘッドを最小限に抑えています。
実際の改善効果はどれくらいあるんですか?
LibriSpeechデータセットで最大14.97%、発話障害者のSpeech Accessibility Projectデータで6.67%のOOV文字誤り率削減を達成しています。
リスコアリングシステムをベースラインとした場合、どのくらいの差が出るんですか?
リスコアリングシステムと比較して、LibriSpeechで最大14.97%、発話不明瞭データで6.67%のOOV文字誤り率削減を実現しています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。反復出現するOOV単語に限定され、完全に新規な単語や極端なノイズ環境では限界があります。
実際の試し方はどうすればいいんですか?
LibriSpeechでは相対OOV文字誤り率が最大14.97%改善し、発話不明瞭データでも6.67%の改善を確認しました。
LibriSpeechと発話不明瞭データで相対OOV文字誤り率が最大14.97%と6.67%改善しました。
確かに!これからもどんどん進化していく分野ですよね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。