OneStreamerが、動画のリアルタイム理解と記憶形成の両方で最良の性能を出した
この記事のポイント
- リアルタイム認識と記憶形成の両立が難しかった
- 共有生成プロセスで記録と応答を統合した
- 8ベンチマーク全部で最高の結果
数字で見る
この記事に出てくる数字
| モデル規模 | 4B |
|---|---|
| ベンチ数 | 8 |
| PSTL監督比率 | 27.5% |
どこで使えるか
リアルタイム応答と過去の記憶を同時に維持したい人向け。4Bモデルで8ベンチ最高 arXivで論文公開済み モデル重みの公開は記載なし
動画を見る
スポンサーリンク
解説
かみくだいて説明します
2026-10-01にXiangyu Zengらの研究チームが、ストリーミング動画のAIモデル「OneStreamer」を発表しました。動画が次々と流れる環境で、AIが先を見通さずに証拠を保存し、必要な時にすぐ答えられる仕組みです。
なるほど。先を見通さずに証拠を保存する仕組みだったんですね。
そうです。全部を記憶すると処理が重くなるため、OneStreamerはPHCMという機能で、映像の場面ごとに短い説明と、終わったイベントの要約を自動で作ります。まるでカメラマンが現場の写真を全部残す代わりに、メモ帳に要点だけ書き留めるようなイメージです。
メモ帳に要点だけ書く感じですね。では、映像が流れている間に処理が止まってしまうのをどう防いでいるんですか?
PSTLという学習手法で対応しています。出力のあらゆる地点で正解を示し続ける代わりに、状態が変わる時と変わらない時の代表となるトークンだけを選び出して教えるのです。
状態が変わる時と変わらない時の代表だけを選ぶ、というのは具体的にどうなるんですか。そこがまだ掴めません。
映像の展開をニュースの取材に例えると、すべてのカメラアングルを編集する代わりに、切り替わる瞬間と静止している瞬間の代表カットだけを残す作業に置き換わります。これにより、全体の27.5%のトークンだけで十分な性能を出せるようになりました。
100万件以上というデータ量に驚きました。モデルの規模はどうなっていますか?
100万件以上のレコードを集めたOneStreamer-1Mというデータセットを使っています。これにオープンソースのデータを合わせて訓練した4Bモデルは、評価した8つのベンチマークすべてで、比較した方法の中で最も高い結果を出しました。
生成した説明を保持しても、リアルタイムの映像理解には悪影響が出ず、過去の質問への回答精度も向上しています。
実験の結果、生成した説明を保持しても、リアルタイムの映像理解には悪影響が出ませんでした。むしろ過去の質問への回答精度は向上しています。
確かに!見ると記憶を別々に動かすのではなく、同じ生成過程で一体化させているのですね。
映像を解釈する時、記憶を作る時、答えを出す時、すべて同じ生成プロセスを回すことで、遅延なく情報を繋げられるようにしています。これがOneStreamerの核心です。
最後に、実用化に向けてまだ解決していない課題はありますか?
現時点では4Bモデルまでの検証であり、より大規模なモデルや長時間の動画での安定性については、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。