Qwen3-1.7B に生動画で追加学習する手法、視覚とテキストの両方を向上させる話

論文

Qwen3-1.7B に生動画で追加学習する手法、視覚とテキストの両方を向上させる話

スポンサーリンク

Qwen3-1.7B に生動画で追加学習。動画ベンチ4件で平均2.9点、画像ベンチ10件で5.1点向上。

この記事のポイント

  • 生動画は既存モデルの追加学習に未使用
  • Qwen3-1.7Bに字幕なし生動画で追加学習
  • 4動画ベンチ平均2.9点、14テキスト48.9

数字で見る

この記事に出てくる数字

動画ベンチ平均 +2.9点
画像ベンチ平均 +5.1点
テキスト平均 48.9/48.0

どこで使えるか

既存モデルに動画で追加学習したい人向け。テキスト性能を落とさず視覚能力を上げられる コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Jaedong Hwangらの研究チームが、2026-10-08に公開した報告で、動画の生データだけで既存の言語モデルを途中学習させる手法を提示しました。フレームを視覚トークンに直して次を予測させるだけで学習を進め、Qwen3-1.7Bを動画データYT-Temporal-1Bで途中学習にかけて同じ指示学習を施した結果、動画ベンチマーク4つで平均2.9ポイント、画像ベンチマーク10つで平均5.1ポイント向上し、テキストベンチマーク14では48.9対48.0で劣化しませんでした。
文字情報を一切使わないんですか。研究する人から見ると、これまで何ができていなかったんですか。
これまで画像や動画には文字のキャプションを付けて学習するのが一般的で、生動画はほとんど使われていませんでした。今回、文字なしの動画だけで学習する手法を試みました。
視覚トークンって何を指すんですか。そこがまだ掴めません。
動画の1コマ1コマを、モデルが処理しやすい数値の並びに置き換えたものです。文字で説明する代わりに、色や形、動きの情報を数式で表すイメージです。
数式で表すんですか。当てるだけなんですね!
正確にはその通りです。文字で補足しない分、モデルが動画そのものの流れや関係性だけを学ぶことになります。
学習はどれくらいの時間で完了しますか。
画像と動画の性能向上は、学習の30%の時点で既に現れ、その後は0.5ポイント未満の変動で頭打ちになります。
自動で文字を付けて学習するのと比べて、計算量は減りますか。
そこはまだ分かっていません。報告では計算量やラベリングのノイズが減る可能性に触れていますが、具体的な数値や比較データは提示されていません。
では、次に注目するのはどの部分ですか。
要旨には1.7Bモデルでの結果のみが示されており、大規模モデルや他のデータでの一般化や今後の課題についての言及はない
最後に、この手法を研究や開発にすぐ取り入れられますか。
生の動画をそのまま使って次の視覚トークンを予測させるだけで、字幕も文章の学習も足さずに画像と動画の両方の成績を底上げできる。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文