LiSenNetの NPU 向け再設計版が、マイコンでリアルタイムの音声ノイズ除去を達成した
この記事のポイント
- パラメータ数適合でもNPU非互換
- 畳み込みとint8化で再設計
- VoiceBank-DEMANDで同等性能
数字で見る
この記事に出てくる数字
| パラメータ数 | 37k |
|---|---|
| 推論時間 | 4.83ms |
| リアルタイム係数 | 0.30 |
どこで使えるか
組み込みマイコンでリアルタイム音声ノイズ除去を組む人向け。演算子の互換性と量子化を再設計した。 arXivで公開済み STM32N6570-DK用設計
スポンサーリンク
解説
かみくだいて説明します
小型チップでリアルタイム音声処理って、現実的なんですか?
確かにメモリとエネルギー制約が厳しい環境での実装は困難ですが、NPUの進化で実用段階に入っています。
じゃあモデルを小さくすればいいだけじゃないんですか?
単にパラメータを削減するだけでは不十分で、演算子の互換性と実行パターンの適合が最大の壁になります。
arXivで公開された研究では、LiSenNetをSTM32N6570-DK向けに再設計する手法が提案されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
再帰型ボトルネックを畳み込み周波数と時間ミキサーに置き換え、int8量子化に対応する静的演算に書き換えています。
量子化で精度が落ちないのが驚きですね!
量子化範囲を制限したデコーダ活性化関数を使うことで、量子化後の品質を維持しています。
実際の性能向上はどのくらいあるんですか?
VoiceBank-DEMANDでPESQ 3.08を達成し、FP32版の3.01を上回り、int8量子化後も3.01を維持しています。
推論速度の面ではどう比較されるんですか?
16ミリ秒ごとの入力を4.83ミリ秒で処理し、リアルタイム係数0.30を達成しています。
でも、特定のNPUに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
要旨には、パラメータ数、演算子の互換性、量子化範囲、ストリーミング状態を共設計することが重要とあります。
自分で試す場合はどうすればいいんですか?
公開コードをGitHubで入手し、STM32開発ボードで組み込み推論パイプラインを構築してみてください。
STM32N6570-DK上での実証で、リアルタイムファクター0.30を達成しました。
次はもっと多様なデバイスで検証が進むといいですね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。