ZDTaichu5.0-9B、視覚理解と空間推論を備えたマルチモーダルモデル

モデル

ZDTaichu5.0-9B、視覚理解と空間推論を備えたマルチモーダルモデル

スポンサーリンク

ZDTaichu5.0-9Bが公開。テキスト、画像、動画に対応。

この記事のポイント

  • 視覚・空間・エージェント対応
  • 10B級VLMで上位の視覚能力
  • 128Kトークン対応の9Bモデル

数字で見る

この記事に出てくる数字

モデル規模 9B
コンテキスト長 128K
言語バックボーン Qwen3.5-9B

どこで使えるか

マルチモーダルVLMを自前で組む人向け。128Kコンテキストとエージェント対応。 Hugging Faceで公開済み 128Kトークン対応、任意解像度の画像・動画入力可

動画を見る

スポンサーリンク

解説

かみくだいて説明します

TaichuAIが9月4日、ZDTaichu5.0-9Bというマルチモーダル基盤モデルを公開しました。Qwen3.5-9Bという言語モデルの骨格にC-RADIOv4-Hという画像認識の部品を組み合わせたもので、テキストと画像、任意の解像度の動画を入力として受け付けます。
10B規模のモデルで、空間の把握やロボットの研究にも使えるんですか。
はい。一般的な画像の読み取り能力を維持したまま、複数の画像を並べて比較する空間推論や、動画の中から特定の出来事を追跡する機能、そして手順を踏んで外部のツールを動かすエージェントタスクを備えています。10Bクラスのモデルの中では上位の性能を維持しつつ、これらの専門的な能力を積み重ねているのが特徴です。
汎用の画像認識を損なわずに、空間やロボットの機能が追加されているんですね。
正確には、一般的な画像理解、空間能力、エージェント能力の3つの軸で、オープンモデルやクローズドモデルと対比された比較図がリリースブログに提示されています。モデル自身がツールを実行するわけではないため、開発者はアプリケーション側の安全策を設計するだけで組み込みが可能です。
ツールはモデル自身が動かず、周りのアプリが責任を持つんですね。
画像と動画は解像度を問わず受け付けますし、テーブルやグラフ、図表の読み取りにも対応しています。128Kトークンのコンテキストウィンドウを持っていますから、長い動画の映像データも一度に読み込めます。ただし、ツール実行の責任が周囲のアプリケーションに委ねられている以上、実際にシステムに組み込むときの設計負荷は開発側の判断に委ねられています。
コンテキストウィンドウという専門用語が少し分かりません。もう少しやさしく言うとどうなりますか。
一言で言えば、モデルが一度に処理できる情報の容量です。先ほどお伝えした128Kトークンは、その容量が文章およそ10万字分に相当することを意味します。
作る側から見ると、手元で動かすのに必要な環境は公開されていますか。
GitHubとModelScopeに公開されていますから、開発者は自前の環境に組み込んでカスタマイズできます。テキストと画像、動画の3種類を同時に処理できる点が使い勝手の違いです。自然画像や文書の中の文字を読み取ったり、プロットを読み解いたりする能力を損なわずに、空間やエージェントの機能を追加した点に違いがあります。
研究している人から見ると、これまでのモデルと何が違いますか。
モデルはQwen3.5-9Bの言語バックボーンとC-RADIOv4-Hの視覚エンコーダーを組み合わせ、テキスト、画像、動画の任意解像度の入力に対応しています。
最後に、実用化に向けてまだ何が課題だと考えられていますか。
モデルの進化の方向性については、論文の要旨には具体的な記述がありません。ただし、一般視覚理解、空間推論、エージェント機能の3つの側面から評価されていることが示されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル