多様な視覚エンコーダーと Qwen3-VL を組み合わせた曲がり文字の検出と読み取り手法

論文

多様な視覚エンコーダーと Qwen3-VL を組み合わせた曲がり文字の検出と読み取り手法

スポンサーリンク

MEVL-STPが、曲がり文字の検出で 91.99%、読み取り合わせで 85.86% の精度を出した

この記事のポイント

  • 湾曲テキストの検出誤差が認識失敗に直結していた
  • 6エンコーダーとQwen3-VLで2段階パイプライン構築
  • CTW1500で検出F-measure91.99%、H-mean85.86%

数字で見る

この記事に出てくる数字

検出F-measure 91.99%
モデルパラメータ 8B

どこで使えるか

湾曲テキストの検出精度を上げたい人向け。6エンコーダーを固定し直交性を保つ GitHubで公開済み

スポンサーリンク

解説

かみくだいて説明します

自然画像の中の曲がった看板や密集した文字を正確に読み取るって、現状でもなかなか難しいですよね?
確かにそうです。従来の手法では位置検出と文字認識が密結合しており、検出のわずかなズレがそのまま認識失敗に直結します。
私、既存のアプローチってなぜそこまで精度が出ないんですか?
単一バックボーンで特徴量を抽出すると特徴空間が均一化し、境界線の精度が劣化します。軸に平行な矩形枠では背景ノイズまで読み取ろうとしてしまいます。
そこでarXivで公開されたMEVL-STPという手法が注目されています。CLIPやDINOv2など6つの視覚エンコーダーを凍結した状態で使い、ビジョン言語モデルと組み合わせる二段階パイプラインです。
そのアプローチって、具体的にはどういう仕組みなんですか?
凍結したエンコーダー同士は独立した特徴空間を維持するため融合時に均一化が起きません。得られた多角形マスクでテキスト領域を切り出すと、Qwen3-VL-8B-InstructモデルがLoRAで微調整され純粋に文字だけを読み取ります。
背景を完全に排除してから読み取るんですね!
改善効果は実際にどのくらいあるんですか?
CTW1500データセットで検出F-measureが91.99%、エンドツーエンドH-meanが85.86%を達成し、合成学習データなしで新たな最高記録を樹立しています。
学習データなしでこの数字は驚きですが、他のベンチマークではどうですか?
Total-TextやICDAR 2015でも強い性能を達成していますが、CTW1500の91.99%や85.86%には及ばないんですか?
でも、6つのエンコーダーと80億パラメータのモデルを同時に動かすなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。合成データを使わずにCTW1500で91.99%の検出F値、85.86%のH-meanを達成し、Total-TextやICDAR 2015でも強い性能を出しています。
実際の試し方はどうすればいいんですか?
開発元がGitHubで全コードを公開していますので、ローカル環境で多角形マスク生成から認識パイプラインまでそのまま再現できます。ぜひ試してみてください。
CTW1500で91.99%の検出F-measureを達成し、Total-TextやICDAR 2015でも高い性能を示しています。
合成データなしでCTW1500の検出F値91.99%を出したのは大きいですね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文