MoLEが視覚推論の平均78.6点を達成。SFTより4.9点上。
この記事のポイント
- 既存手法は潜在表現が重複する
- MoLEで潜在専門家を分離した
- 5ベンチで平均78.6、+4.9
どこで使えるか
視覚推論の基盤モデルを自前で組む人向け。SFTより精度を上げたい
スポンサーリンク
解説
かみくだいて説明します
Yingcheng Liuらの研究チームが、arXivに論文を発表しました。画像と文章を扱うAIが、画像を直接見ずに内部の連続した中間状態だけで視覚情報を処理する手法について、新しいフレームワークMoLEを提案しています。既存の方法では複数の中間トークンが同じ情報にアクセスして重複していたのを、各トークンが役割を分けて補完し合う専門の視覚エキスパートとして動かす仕組みにしました。
なるほど。専門の視覚エキスパートがそれぞれ違う部分を見るんですか?
そうです。MoLEでは各エキスパートが観測する視覚証拠と、それをどう変換するかを制御します。一つの画像から出る情報をエキスパートごとに隔離して抽出し、別の要約用のエキスパートがそれぞれの補完的な表現をまとめて処理する二段構えです。
中間トークンが役割を分けるというのは、具体的にどうなるんですか。もう少しやさしく言うとどうなりますか。
複数の専門家が同じ資料を共有で読んで重複したメモを取る代わりに、一人は図表だけ、一人は数値だけ、一人は注釈だけを担当して、最後にまとめ役が情報を組み合わせるイメージです。モデルが自分でその役割分担を学習します。
すると、学習の段階ではエキスパートに最初から役割を割り当てる必要があるんですか?
必要ありません。二段階の学習パイプラインで、まず画像の証拠をこの中間パスウェイだけに通して処理させ、次に直接の視覚アクセスを回復させるだけです。あらかじめ役割を決めたり、中間の視覚目標を用意したりしないので、モデルが自分で役割を切り分けていきます。
研究している人から見ると、どこが新しいんですか。
従来の手法では中間トークンの数を増やせば性能が上がると考えられていましたが、実際には同じ情報を繰り返すだけで性能が頭打ちになる問題がありました。MoLEは中間状態の類似度を下げて視覚アテンションの多様性を高めることで、同じ予算の中で補完的な表現を引き出します。5つのベンチマークで平均78.6を記録し、同じデータ量で学習した教師ありファインチューニングを4.9、同じ中間トークン数での最强の既存手法を3.6上回りました。
中間パスウェイを遮ると性能が9.2下がるとのことですが、それはどのくらいの重みがあるんですか。
ねえ、中間パスウェイをマスクして経路を遮断してみたら、平均スコアが9.2ポイントも下がったんだって。それって結構はっきり効いてる数字だよね
作る人にとって、手元で動かすのに何が要りますか。
五つのベンチマークで平均78.6点を達成し、データ数合わせの教師ありファインチューニングを4.9上回り、同じ潜在予算の最强ベースラインを3.6上回りました。潜在計算を専門化することが、単に潜在トークン数を増やすよりも効果的であることを示しています。
使う側として、いま困っていることのどれが減りますか。
画像を何度も読み直したり、テキストで一步步説明したりせずに、内部状態だけで視覚証拠を処理できるようになります。複雑な視覚推論が必要なタスクで、モデルが不要な繰り返し操作を減らして正確に答えられるようになります。
では、次はどんな話でしょうか。
今回提案されたMoLEは、中間トークンの数を増やすだけでは性能が伸びないという課題に対して、専門分化による補完推論で解決を示しました。ただし、異なるビジョンランゲージモデルへの汎用性や、より大規模なデータセットでの検証結果については、そこはまだ分かっていません。
最後に、今後の見通しを教えてください。
MoLEは潜在視覚エキスパートに補完的な視覚情報を取らせ、データ量を揃えた教師あり微調整や同じ潜在予算の手法より高いスコアを示しました。
出典
この記事のもとになった情報
- arXiv:MoLE: Mixture of Latent Experts for Complementary Visual Reasoning
- 公開日:2026-10-02
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。