Whisper の低リソース言語対応を改善する Sequential Adapter Stacking、推論コストを抑える話

論文

Whisper の低リソース言語対応を改善する Sequential Adapter Stacking、推論コストを抑える話

スポンサーリンク

Sequential Adapter Stackingは関連言語で相対誤り率を 5〜8% 削減

この記事のポイント

  • 多言語ASRは低資源言語で劣る
  • ソースアダプタ上にターゲットアダプタを積む
  • 1時間データでも効果、3言語で5-8%改善

数字で見る

この記事に出てくる数字

相対WER削減 5--8%
訓練データ量 1時間

どこで使えるか

低リソース言語のASRをWhisperで改善したい人向け。1時間データでも効果的 コードの公開は記載なし Whisper未対応3言語で評価済み

スポンサーリンク

解説

かみくだいて説明します

Thai Thi Thanh Thao Dangらの研究チームが、音声認識のモデル Whisper を使って、データが少ない言語に対応する新しい手法を発表しました。ソース言語用のアダプターの上に、ターゲット言語用のアダプターを積み上げる Sequential Adapter Stacking という手法で、アストゥリアス語、アッサム語、コサ語の三つの言語で試したところ、完全な書き換えより 5%から8% の誤り率を下げられました。わずか一時間のデータだけでも、この効果は残りました。
音声認識の研究をしている人から見ると、これまでのやり方とどこが違うんですか。
従来はモデル全体を新しく書き換えるか、既存の部品をくっつけるかの二択でした。今回提案したのは、既にある部品を凍らせたまま、その上に新しい部品を積み重ねる形です。料理で例えると、大根おろしの上に新しいタレをかけるようなものです。元の味は変えずに、味付けだけ追加で調整できます。
元の部品は動かさないまま、上だけ追加で調整するわけですね。追加の部品を動かすのに、どれくらいのデータが必要なのか気になります。
三つの言語すべてで、ターゲット言語のデータが一時間だけでも、誤り率の改善は大きく残りました。書き換えと比較した相対的な削減幅です。
一時間だけでこの効果が出るのは確かに大きいですね。対応していない言語への積み上げ方という発想自体が、従来とは違う形ですね。
はい。アストゥリアス語、アッサム語、コサ語は Whisper の対象外でした。近い関係のソース言語を選んで積み上げた場合、どの言語でも安定して誤り率が下がりました。
関係の近いソース言語を選ぶのが鍵なんですね。ところで、誤り率という数字は具体的に何を測っているんですか。
音声認識が文字に起こす際に、どれくらい間違えるかを数えた値です。読み上げのテストで、正解の文字列を完成させるまでに、何文字の読み替えや追加、削除が必要かを割合で表します。テストの点数が 80 点取れたら、誤り率は 20 パーセントという感じです。
正解に近づくまでの手間を割合で表すんですね。本体をいじらずに追加できるなら、現場の技術者が導入しやすい形です。
ソース言語アダプターを凍結し、ターゲット言語アダプターをその上に積み上げるので、本体への追加は手間が掛かりません。
本体をいじらずに追加できるのは、現場の負担が軽くなる点です。では、今後の展開として、対応可能な言語の広がり方にはどのような見通しが立っていますか。
ソース言語との関係性が近いほど効果的ですが、最も関連性の高いソース言語を使うことで、3つの言語で5〜8%の相対WER低減を達成しています。
最後に、データがさらに少ない場合や、関係の遠いソース言語を使った場合はどうなるんですか。
一時間以下のデータや、関係の遠いソース言語を使った場合の性能については、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文