サーバーレスCPUでのTTSコストを下げる Kokoro-82M の推論最適化

論文

サーバーレスCPUでのTTSコストを下げる Kokoro-82M の推論最適化

スポンサーリンク

Kokoro-82Mのサーバーレス CPU 推論が、コストを 4.1 倍に削減した。

この記事のポイント

  • 従来はスループット優先でコスト無視
  • CPU秒とGB秒を節約する設計に変更
  • 4.1倍削減。ただしバースト時は条件付き

数字で見る

この記事に出てくる数字

CPU秒あたりの音声秒 2.71
コスト削減率 4.1x
アイドル時メモリ 1.33GB

どこで使えるか

サーバーレスCPUでTTSを運用する人向け。課金単位を最適化し復元も速い arXivで論文公開済み Kokoro-82Mモデル対象。実装コードは記載なし

スポンサーリンク

解説

かみくだいて説明します

arXivのパコルン・ナトンさんとクナット・ピパタナクルさんが論文を発表しました。音声合成モデル Kokoro-82M をサーバーレスのコンピューターで動かすシステムを開発し、音声を 1 時間生成するコストを PyTorch の 0.0631 ドルから 0.0153 ドルに下げました。
0.0153 ドルまで下がったんですか。サーバーレスというのは、使うときだけコンピューターを借りる仕組みですよね。
その通りです。ただ、借りたコンピューターは使わなくても時間とメモリの分だけ請求が続きます。このシステムでは、使っていない間にメモリを解放して、また使うときに素早く戻す仕組みを入れています。
メモリを解放するんですか。それって、また使うときに遅くならないんですか。
アイドル状態からの復帰は 2.2 秒です。PyTorch のコールドスタート 7.7 秒より速くなります。サーバープロセスとコンパイルキャッシュを残しているからです。
5.5 秒も違うんですか。では、コンピューターの使い方はどう変わるんですか。
1 つの依頼ごとに並列処理の幅を制限し、複数の依頼を同時に回すようにしています。これにより、コンピューターの同時利用時の混雑を防ぎます。
並列処理の幅を制限するんですか。そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
正確には、1 人の客に対応する店員を 1 人に決めて、別の客には別の店員を当てるイメージです。店員が全員同じ客にかかりっきりになると、次の客が待たされてしまいますが、このやり方なら順番に回せるので、混雑が起きません。
店員を 1 人に決めて順番に回すんですね。では、音質や話速はどうなるんですか。
音質や話速の変化については、論文には具体的な数値が載っていません。そこはまだ分かっていません。
音質の話はこれから出るんですか。
要旨には今後の論文や開発元の公開予定、およびこの動きが「これから増える見込み」という予測は書かれていない。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文