ドキュメント画像を構造化Markdownに変換するWeVisDoc-4B、ページ解析の精度を上げる話

モデル

ドキュメント画像を構造化Markdownに変換するWeVisDoc-4B、ページ解析の精度を上げる話

スポンサーリンク

WeVisDoc-4Bが、ドキュメント解析ベンチで4つの設定で1位。

この記事のポイント

  • ページ画像を構造化Markdownに変換する
  • OmniDocBench v1.6で95.38点、PureDocBench平均75.54点
  • Qwen3-VL-4Bを基にPython3.10以上で動作

数字で見る

この記事に出てくる数字

Python要件 3.10+

どこで使えるか

ドキュメント解析パイプラインを組む人向け。ページ画像から構造化Markdownを得る基盤として使える Hugging Faceで公開済み vLLMとPython 3.10+が必要

スポンサーリンク

解説

かみくだいて説明します

tencent が 2026-09-16 に文書画像を構造化された Markdown に変換するツール、WeVisDoc-4B を公開しました。Qwen3-VL の 2B と 4B のモデルを基に学習を積み直し、ページ画像から LaTeX 数式や HTML 表を含む Markdown を一気に出力します。
4 つのベンチマークで 1 位だそうです。他のツールと何が違うんですか。
OmniDocBench v1.6 の総合スコアが 95.38 で、PureDocBench の 3 トラックの平均が 75.54 です。比較対象になった他のエンドツーエンド型パーサーをすべて上回っています。
では、エンドツーエンドって言葉がまだ掴めません。どういう仕組みですか。
従来のやり方は文字抽出、表認識、数式解析を別々の機械が分担します。エンドツーエンドはそれを 1 つの機械が最初から最後まで引き受ける形です。工場で見れば、部品を次の工程に渡すベルトコンベアが不要になるイメージです。
工程が減って手戻りが起きにくいんですね。現場に組み込む技術者から見ると、動かすのに何が要りますか。
Python 3.10 以上が必要です。vLLM とクライアントの依存関係をインストールして、サービスを開始した後、画像を流し込むだけで予測結果を outputs ディレクトリ内の predictions に書き出します。
すでにテキスト抽出パイプラインを回している場合、これは置き換えになりますか。
置き換える形で使えます。1 枚のページ画像を入力すれば、Markdown 形式の構造化データが 1 度に返ってきます。別ツールを繋ぎ合わせて結果を合わせる手間が要らなくなります。
3 トラックのうち Real は、ノイズの多い画像や劣化したスキャンも含まれているんですか。
含まれています。Clean は綺麗な画像、Digital はデジタルデータ、Real は実世界の劣化したスキャンを指します。平均の 75.54 にはこの 3 種類全部が反映されています。
平均点に実物のスキャンが既に反映されているんですね。どこがまだ解けていないんですか。
報告されているのは 3 トラックと OmniDocBench v1.6 だけです。他の書式や特殊なレイアウトでの精度は、そこはまだ分かっていません。
最後に、商用利用の条件は明記されていますか。
そこはまだ分かっていません。公開されているのはモデルの重みと評価結果だけで、ライセンスの条文はこのページには載っていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル