生成中国語の文字崩れを検出する TextVerifier、OCRやVLMでは見逃す構造誤差を識別する話

論文

生成中国語の文字崩れを検出する TextVerifier、OCRやVLMでは見逃す構造誤差を識別する話

スポンサーリンク

TextVerifierが生成中国語の文字崩れを検出し、OCRやVLMが見逃す構造誤差も識別できるようになった。

この記事のポイント

  • OCRやVLMは構造誤差を見逃す
  • 1270万ペアで文字の正しさを判定
  • F1 0.844。ただしベンチは7358文字のみ

数字で見る

この記事に出てくる数字

学習データ数 12.7M
ベンチマーク文字数 7,358
F1スコア 0.844

どこで使えるか

生成中国語の文字崩れを自前で検出・修正したい人向け。OCRやVLMでは見逃す構造誤差も識別できる arXivで論文公開済み モデルコードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

arXiv に公開された論文で、AI が画像に書き込む漢字の描き間違いを判定する「TEXTVERIFIER」という検証モデルが発表されました。7,358 文字を一つずつ正誤で評価したベンチマークも同時に公開されています。
画像に文字が出るのは当たり前になってきましたが、実は描き方が崩れていることに気づきにくいんですね。このモデルは従来の読み取り技術とどこが違うんですか?
従来の読み取り技術は文字が何なのかを判別するだけで、画数の多さや部首の形が正しいかどうかまでは見ません。TEXTVERIFIER は漢字を構成する部首や筆順の組み合わせ情報、Ideographic Description Sequence と呼ばれるものを入力に使います。例えば「林」を「木」と「木」が並んだ形と定義して、画像の文字がその定義通りに描かれているかをチェックする仕組みです。
定義通りに描かれているかを数値で測るわけですね。学習にはどれくらいのデータが必要だったんですか。
12.7M 組の文字切り出し画像と組み合わせデータ、それに正誤ラベルなしの「同じ文字でも品質が違う」比較ペアを組み合わせて学習しています。評価結果は F1 値が 0.844 で、従来の OCR の信頼度スコア 0.526 や汎用の vision-language モデル 0.329、それに TextPecker の 0.590 を大きく上回りました。
確かに読み取り専用と構造検証では精度が全然違いますね。このスコアをそのまま文字生成の修正に使えるんですか。
生成モデルの学習段階で、文字ごとの正解スコアを報酬信号として使います。そうすると描き間違いが減ることを確認できています。ただ、どのくらいの頻度で修正が成功するかや、他の言語への適用についてはまだ具体的な数字が出ていません。
では、評価に使った 7,358 文字の選び方には何か決まりがあるんですか。
位置、文字の正体、正誤の 3 項目を一つずつ注釈したデータです。生成された漢字画像から、描き方が崩れている部分を特定するために作られたものです。
崩れている部分を特定するための基準が明確になったわけですね。実装する側の技術者が気になる計算量や速度の話は、材料に出てきますか。
処理時間や必要な計算リソースについては材料に記述がありません。そこはまだ分かっていません。
最後に、このモデルの次のステップとして期待される方向性を一言でお願いします。
要旨には、TEXTVERIFIERが検出と修正の両方を行うことができることが示されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文