GLaS-JEPA、音声の自己教師あり学習で複雑な予測対象を不要にする話

論文

GLaS-JEPA、音声の自己教師あり学習で複雑な予測対象を不要にする話

スポンサーリンク

GLaS-JEPAが、複雑な予測対象なしで音声表現の学習に成功した。

この記事のポイント

  • 複雑な予測対象に依存していた
  • 連続表現を直接予測する手法を開発
  • 簡素な訓練で競争力ある表現が得られた

数字で見る

この記事に出てくる数字

学習データ 960時間
パラメータ 57M
WER 6.89%

どこで使えるか

複雑な予測対象なしで音声表現を学びたい人向け。簡素な訓練で競争力あるモデルが組める。 論文に記載なし 実装・コードの公開は未確認

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Gaspard Bottéらの研究チームが、9 月 30 日に音声の自己教師あり学習を扱う GLaS-JEPA という新しい枠組みを arXiv に公開しました。この手法は、音声の一部分を隠したとき、その隠した部分の連続した数値を直接予測するだけで、対比学習や離散ターゲット、指数移動平均のターゲットエンコーダーを一切使わずに学習を進めます。
隠した部分の数を直接当てるだけなんですね。従来の手法はなぜ複雑な仕組みが必要だったんですか。
従来は隠した部分の正解を、別の生成器で作る必要があったためです。GLaS-JEPA は隠した位置の数値をそのまま次へ繋げるため、正解を作る工程をなくしました。ただし、これだけだとモデルが同じ数値だけを出力する崩壊現象が起きやすいため、SIGReg という空間正則化の手法で、数値の広がりを保つ仕組みを設けています。
数値が偏って落ち込まないようにする仕組みという話ですね。そこがまだ掴めません。地点が固まらないように広げるんですね。
音声の特徴量を、地図上の座標に例えると分かりやすいです。従来は隠れた地点を別の計算で推測していましたが、今回は隠れた地点の座標を直接読み取るだけです。SIGReg は、すべての地点が同じ座標に固まらないように、適度に広げる役割をしています。
90M 未満のモデルの中でトップクラスの数字が出ているわけですね。同じ規模のモデルを大きく引き離しているという話ですね。
学習データは LibriSpeech のおよそ 960 時間、モデルのパラメータ数は 57M です。評価では、凍結エンコーダー付き SUPERB の ASR で 6.89% の単語誤り率を、スロットフィルリングで 25.87% の文字誤り率を記録しました。同じ 90M 未満の非蒸留モデルの最上位と比較すると、それぞれ 43.1% と 22.0% の性能向上です。
既存の構造を大きく変えずに組み込めるということですね。正解を作る工程が減るため、開発の手間が大幅に省けるという話ですね。
正解生成器や指数移動平均エンコーダーが不要になるため、学習パイプラインの構成要素が大幅に減ります。実装では隠し位置の数値を直接予測する損失関数と SIGReg の項を追加するだけで良いため、既存の音声エンコーダーのアーキテクチャを大きく書き換えずに組み込めます。
公開データだけで学習が完結する点は確かに強みですね。では、960 時間という学習データ量は実務で容易に確保できる量でしょうか。
960時間のLibriSpeechで学習した57Mパラメータのモデルが、非蒸留で9千万未満のベースラインを上回ったんだって
最後に、この手法が音声モデルの標準的な学習手順に置き換わるまでの見通しはどのくらいですか。
57Mパラメータのモデルは、960時間のLibriSpeechで事前学習し、SUPERB ASRで6.89%のWERを達成し、スロットフィルリングで25.87%のCERを記録しました。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文