WeVisDoc-4Bが OmniDocBench で 95.38 点、PureDocBench 3 トラック平均で 75.54 点を出した。
この記事のポイント
- ページ画像を構造化Markdownに変換
- OmniDocBenchで4Bが1位を達成
- Python3.10とvLLMで動作
数字で見る
この記事に出てくる数字
| Python 3.10+ | 3.10+ |
|---|
どこで使えるか
ページ画像を構造化データに変換したい人向け。Qwen3-VLをベースにファインチューニング済み Hugging Faceで公開済み Python 3.10以上が必要
スポンサーリンク
解説
かみくだいて説明します
tencentが2026年9月16日、ページ画像から文書を読み取って構造化するWeVisDocというモデルを公開しました。Qwen3-VL-2B-InstructとQwen3-VL-4B-Instructを基に学習を積み直し、ページをMarkdownという形式に変換します。数式はLaTeXで、表組みはHTMLのテーブルとして出力します。
画像をそのままテキストや数式に書き直してくれるんですか。作る側に聞くと、今使っている手法と比べてどこが違いますか。
従来は画像認識とテキスト抽出を別々に動かすケースが多かったのですが、今回は一度に通しで処理をします。まるで工場の一貫生産ラインのように、写真を入れると最後の完成品がそのまま出てくるイメージです。テスト結果を見ると、OmniDocBench v1.6で95.38点、PureDocBenchの3つの分類で平均75.54点を取っています。比較対象の全てのエンドツーエンド型パーサーの中で一位です。
専門用語が並んでいて少し複雑なので、もう少し簡単に説明してもらえますか。
つまり、画像を機械にかけて、そのまま整理された文章と数式が手元に出てくる仕組みです。Pythonの3.10以上と、vLLMという推論フレームワーク、それにクライアント側の依存パッケージが必要です。ターミナルを2つ開いて、1つでサービスを立ち上げ、もう1つで画像の束を流し込む形で動きます。結果はoutputs/predictionsというフォルダに書き出されます。
全ての分類で一位なんですね。画像を放り込むだけで、数式や表組みまで整って出てくるわけですね。
数式やテーブルの個別の再現率については、そこはまだ分かっていません。全体としてのスコアと順位だけが出されています。
では、2Bと4Bの2つのサイズで、精度にどれくらいの差が出るのか気になります。
2B版と4B版の両方が出されていますが、テストの点数は4B版のものだけが開示されています。2B版の具体的な数値については、そこはまだ分かっていません。
2B版の点数は不明なんですね。研究している人から見ると、このモデルのどこが特に新しいんですか。
画像から直接Markdownを出力する点が新しいです。これまで文字起こしとレイアウト解析を別々のモデルでやっていた手間が、1つにまとまります。学習の基盤になったQwen3-VLも、画像とテキストを同時に扱うモデルです。
一つにまとまるので、組み込む側の手間は減りますね。最後に、今後どのような展開が予想されますか。
公開されたのはHugging Face上のページだけで、追加のベンチマークや2B版の数値、そして商用利用の条件については、そこはまだ分かっていません。
出典
この記事のもとになった情報
- Hugging Face:tencent/WeVisDoc-2B
- 公開日:2026-09-16
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。