MoE VLMの内部判断で視覚の誤りを検出し、修正をかける Qwen3-VL Gemma-4
この記事のポイント
- VLMは対象が画像に無いのに回答していた
- MoEのルーティング確率で欠落を検出し修正プロンプトを適用
- QwenはGQAで+22.25%向上。ただしデータセット間で閾値再調整が必要
数字で見る
この記事に出てくる数字
| Qwen GQA 改善 | +22.25% |
|---|
どこで使えるか
視覚情報を伴う質問でモデルが幻覚に走らないようにしたい人向け。学習不要でモデルを選ばない 論文で公開済み
スポンサーリンク
解説
かみくだいて説明します
Hongzhu Guoらの研究チームが、画像と文章を組み合わせて答えを出すモデルが写真に写っていない物を答えてしまう問題を、内部信号だけで検出する手法を発表しました。この手法はモデルが答えを生成する前に、対象となる物体のトークンがどの専門ユニットへ送られているかというルーティング確率を抽出し、線形の検出器で訓練することで、写真に物がなければ生成を止めて書き直しを促す仕組みです。GQA-Inpaintというデータセットで検出精度が0.9988と0.9956を記録し、Qwenの精度は+22.25%、Gemmaの精度は+13.42%向上しました。
答えを出す前に中身の信号で止めるんですか。
はい。ルーティング確率というのは、質問を受けた時、モデルの中の複数の専門ユニットのうちどれがその答えを担当するかを決める配線図のようなものです。料理の注文を受けて肉担当、野菜担当、汁物担当のシェフがいて、肉の切れ端を頼まれた時、肉担当のシェフだけが動いて他のシェフは待機する状態が、この確率として数字で出ます。写真に肉がなければ肉担当シェフが動かないはずだと、この数字だけで見抜くわけです。
なるほど。既存の手法は答えを出してから見ていたんですね。
はい。これまでの手法は答えが生成された後や、モデルの隠れた状態、あるいは不確実性の指標を頼りにしていました。今回提案するのは答えを出す前の段階で検出器が介入し、対象が写真にない時だけレビュー用のプロンプトを呼び出す selective review です。モデルの重み自体は変えずに、追加の検出器と書き直しプロンプトだけで精度を上げられます。
書き直しのプロンプトを間違えてかけた時のリスクはどれくらいですか。
実験では写真に物がなくても書き直しをかける誤検出が全体の精度に与える影響は限定的でした。ただし外部データセットOBERへの移行時には閾値の再調整が必要で、閾値とプロンプトを一緒に選ぶことで介入リスクを制御できると結論付けています。OBERでの検出精度はQwenが0.8095、Gemmaが0.7781にとどまっています。
研究している人から見ると、どこが新しい検出方法なんですか。
内部のルーティング信号を答えの生成前というタイミングで使ったのが初めてです。信号は対象物体のトークンに局在し、MoEの初期レイヤーで現れ、部分的に置き換え可能な複数の専門ユニットに分散していることが分かっています。計算コストは既にモデルが生成した内部状態を活用するので、追加の推論コストはほぼゼロです。
既に動いている信号を使うので追加のコストは要らないんですね。
はい。実際にこのモデルを組み込む技術者にとって必要なのは、公開されているQwen3-VL-30B-A3B-InstructとGemma-4-26B-A4B-itのモデルから対象トークンのルーティング確率を抽出し、各モデルごとにL2正則化された線形検出器を訓練することです。モデルそのもののファインチューニングは不要で、訓練済みの検出器の重みを組み合わせるだけで動作します。
では、実際にこのモデルを組み込む技術者にとって、手元で動かすのに何が要りますか。
公開されているコードと訓練済みの検出器の重みを使えば、モデルの重みを変更せずに検出器を差し込むだけで動作します。ただし、異なるモデルへ適用する際には各モデルごとの検出器を別途訓練する必要がある点には注意が必要です。
最後に、今後の見通しはどうなっていますか。
異なるデータセット間で閾値の再較正が必要ですが、誤検出による影響は限定的です。ルーティング確率は視覚知覚に関する実用的な情報を保持しており、MoE VLMが既に生成した計算を活用して低コストで検出と視覚的再接地が可能です。
出典
この記事のもとになった情報
- arXiv:From Routing Signals to Selective Review: Visual regrounding in MoE VLMs
- 公開日:2026-09-30
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。