DELTAと TARQA が公開。表の構造と内容の抽出、および質問への回答に対応。
この記事のポイント
- VLMは画像に依存し言語別エンコーダーが必要だった
- DELTAで構造をOTSL形式に、TARQAでLLMをファインチューニング
- WTQで9.3p.p.、FinTabNetQAで9.2p.p.向上、TORQUEでは2位
数字で見る
この記事に出てくる数字
| TabQA向上 | 9.3 p.p. |
|---|---|
| TabVQA向上 | 9.2 p.p. |
どこで使えるか
表の構造と内容をテキストで扱いたい人向け。言語別エンコーダー不要で多言語対応 GitHubでコード・モデル公開済み HindiベンチマークTORQUE付き
スポンサーリンク
解説
かみくだいて説明します
Jahanvi Rajputらの研究チームが、テーブルの画像から構造と内容を正確に読み取るDELTAとTARQAを2026年9月16日付でarXivに公開しました。画像を使う従来の方法ではなく、テキストの並びとしてテーブルを表現することで、複数の言語に同じ仕組みで対応できるようにしたのが特徴です。
なるほど、画像を直接見る代わりに文字の羅列として処理するわけですね。では、作る側の技術者から見ると、このテキスト形式に変換する作業は手元で簡単に動かせますか。
正確には、DELTAという部品が画像から物理的な罫線の位置、論理的なセルのつながり、そして文字の読み取りを分けて行い、OTSLという専用のテキスト形式にまとめて出力します。手元で動かすには、公開されているコードと学習済みモデルをダウンロードして、GPUを搭載したパソコンに設置すれば十分です。
GPU搭載のパソコンで動くんですか。そこがまだ掴めません。OTSLという新しい形式は、具体的にどのような並び方になるんですか。
分かりました。例えば、縦に3つ横に2つのマス目があるテーブルがあったとします。OTSLはそのマスの位置関係を、開き括弧と閉じ括弧で組み立てた木のような構造で表します。画像のピクセルを並べる代わりに、テーブルの骨組みをテキストの字面だけで組み立てるイメージです。
骨組みをテキストで組み立てるんですね。では、研究している人から見ると、従来の画像言語モデルと比べてどこが新しいんですか。何と比べて、何件で測った結果ですか。
画像言語モデルには言語ごとに別々の部品が必要でしたが、この手法は同じテキスト形式で英語だけでなくヒンディー語のベンチマーク、TORQUEでも対応できます。構造の正確さを測るTEDS-Structureのスコアは、FinTabNetやPubTabNet、PubTables-1Mの3つのデータセットで現状の最先端と同等です。理解度を測るTabVQAでは、WTQでおよそ9.3 p.p.、FinTabNetQAでおよそ9.2 p.p.の向上を記録しました。
9.3 p.p.と9.2 p.p.の向上は確かに大きいですね。ヒンディー語のTORQUEではどの位置だったんですか。
TORQUEでは、画像言語モデルやDELTAに大規模言語モデルを足した組み合わせのなかで、2番目の成績をマークしました。ただし、1位との差や、他の非英語言語での詳細な数値については、そこはまだ分かっていません。
1位との差は未確認なんですね。では、AIを使う側から見ると、この手法が実際に導入されるには、どのような条件が整えばいいんですか。
複雑なレイアウトのテーブルや文字が重なっている場合の精度向上が課題で、研究チームはコード、モデル、ベンチマークをGitHubに公開しています。
複雑なレイアウトへの対応が進む見込みなんですね。最後に、今後どのような展開が予想されますか。
OTSL形式で出力されるモデルとベンチマークを公開しています。これにより、多言語文書のテーブル解析が容易になります。
出典
この記事のもとになった情報
- arXiv:Tables Decoded: DELTA for Structure, TARQA for Understanding
- 公開日:2026-09-16
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。