リアルタイム文字起こしモデル Confucius4-R2T2、修正しない出力でリアルタイム字幕や翻訳パイプラインを使う話

モデル

リアルタイム文字起こしモデル Confucius4-R2T2、修正しない出力でリアルタイム字幕や翻訳パイプラインを使う話

スポンサーリンク

Confucius4-R2T2が公開。リアルタイム字幕や翻訳パイプライン向けに、修正しない出力で遅延80ms〜2秒まで細かく調整可能。

この記事のポイント

  • リアルタイム文字起こし用モデル
  • 80msから2秒のチャンクで低遅延
  • vLLMバックエンドでオフラインも対応

数字で見る

この記事に出てくる数字

デコーディングチャンク 80 ms~2 s

どこで使えるか

リアルタイム字幕や翻訳パイプライン向け。修正なし出力で遅延を80ms〜2秒まで調整可能。 Hugging Faceで公開済み vLLMバックエンドでリアルタイム推論対応

スポンサーリンク

解説

かみくだいて説明します

netease-youdaoが2026-09-10に、リアルタイム音声文字起こしモデルのConfucius4-R2T2を公開しました。80 msから2 sの単位で音声データを処理でき、一度出力した文字列は修正されないappend-onlyの仕組みを採用しています。オープンソースモデルの中で最も遅延が低く、認識精度もトップクラスの性能を記録しています。
一度出た文字は消えないということですね。音声からテキストへ変換する技術者から見ると、この80 msから2 sの切り替えは、現場の処理速度にどう影響するんですか?
切り替える間隔を短くすればリアルタイム性は上がりますが、精度が下がるリスクがあります。逆に長くすれば正確になりますが、画面に表示されるまで時間がかかります。開発者は使う場面に合わせて、遅延と精度のバランスを自分で調整できる形です。
確かに、書き換わらないのは分かりますが、Longest Stable Prefixという仕組みがまだ掴めません。もう少しやさしく言うとどうなりますか?
音声の切れ目や文の区切りを予測して、確実に確定できる部分だけをすぐに出す仕組みです。例えば川の流れに例えると、上流で流れてきた砂利が確実に河原にたまった部分だけを先に運び、まだ流れている部分は待ってから次の段階へ渡すようなイメージです。これにより、前の文字が書き換わるのを防ぎつつ、次の予測には正確な文脈を提供しています。
書き換わらないほうが次の処理もスムーズです。研究する人から見ると、このモデルは従来の音声認識と比べてどこが新しいんですか。
従来のストリーミング型は、途中の文字を修正しながら出力するのが一般的でしたが、Confucius4-R2T2は修正を一切行いません。それに加えて、Qwen3-ASRを基盤にしつつ、安定接頭辞データや強制時間アライメントデータといった独自の学習データで訓練した点が異なります。オープンソースのモデルとしては遅延と精度の両方でトップに位置し、大手のクローズドソースシステムにも引けを取らない数値を出しています。
修正を一切行わない設計だと、オフラインでの精度も心配になりそうですが、実際には高い精度を維持しているという解釈でいいですね。
落ちません。ストリーミング専用ではなく、一度に全部処理するオフラインモードでも高い精度を維持しています。GitHubのリポジトリには推論コードとvLLMを使ったバックエンドが公開されており、オフラインとリアルタイムの両方で使えるようになっています。
実用的なコードがそのまま公開されているんですね。では、このモデルが対応する具体的な用途について教えてください。
主にリアルタイムの字幕生成、自然言語処理パイプラインやLLMエージェントへの入力、同時通訳の3つが想定されています。特にLLMエージェントへの入力では、修正のない安定したテキストがそのまま次の判断材料になるため、処理の信頼性が大きく上がります。技術レポートは今後公開される予定です。
技術レポートの公開を待てば、より詳しい情報が得られそうですね。最後に、自分の仕事でこのモデルを使う側から見ると、導入にあたって一番気になる点はどこですか。
モデルのサイズや学習データの詳細は技術レポートの公開を待たないと分かりませんが、vLLMバックエンドのセットアップ手順はGitHubリポジトリに記載されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル