視覚トークンで知識グラフをキャッシュする VisKG-LM、オンライン推論の重さを減らす話

論文

視覚トークンで知識グラフをキャッシュする VisKG-LM、オンライン推論の重さを減らす話

スポンサーリンク

VisKG-LMが、知識グラフをオフラインで画像化してキャッシュし、推論時の重みを大幅に減らした。

この記事のポイント

  • グラフ情報をオフラインで画像化
  • 言語モデルはテキストのみで推論
  • 3データセットで4点台の改善

数字で見る

この記事に出てくる数字

オンラインパラメータ 400M

どこで使えるか

推論時のモデルサイズを小さくしたい人向け。オフラインで画像化してキャッシュする arXivで公開済み 3ベンチで改善幅が異なる

スポンサーリンク

解説

かみくだいて説明します

Yixin Peng さん、Er Jin さん、Shiwei Luo さん、Diego Collarana さん、Stefan Decker さんのチームが、VisKG-LM という仕組みを発表しました。CommonsenseQA、OpenBookQA、MedQA-USMLE の 3 つのテストで、GreaseLM より 1.2 点、0.8 点、4.3 点ずつ正解率を上げました。
画像にまとめて読み出すだけなんですね。テキストで渡す場合と比べて、どれくらい差が出ますか。
質問と選択肢の組み合わせごとに、グラフを最初から計算し直す代わりに、あらかじめ分岐の形を保ったまま画像に焼き付けておくんです。辞書の目次ページを一枚のカードにまとめて机に並べておくようなイメージで、必要なときだけそのカードをめくって情報を取り出します。
辞書の目次を机に並べるような感じですか。あらかじめ準備しておくなら、計算の負担はどれくらい減りますか。
オンラインで動くパラメータはおよそ 400M です。同じタスクで使われている 7B の視覚言語モデル、GraphVis と比べても、性能を劣らせずに追いついています。
7B に追いつくなら手頃そうですか。ただ、画像を一枚ずつ準備する手間はどれくらいですか。
画像として保存された情報は読み取り専用なので、モデルが勝手に書き換える心配がありません。テキストだけで質問の意味を理解したあと、最後の段階でだけ画像を参照する構造になっています。
読み取り専用だと理解できました。最後の段階でだけ画像を見るのが、まだ掴めません。
質問の意味をテキストで理解したあと、答えを選ぶ瞬間にだけ画像を参照するんです。辞書をページごとに引くのではなく、必要なページをあらかじめコピーして机に置いておくようなものです。
答えを選ぶ瞬間にだけ画像を見るんですか。画像を見せない場合との差が気になります。
全く同じ分岐の形をテキストで渡したコントロール群と比べると、3 つのテストで 4.2 点、6.5 点、5.1 点の差が出ました。視覚的な配置そのものが、関係の読み取りに役立っているということです。
視覚的な配置が関係の読み取りに役立つんですね。2次元レイアウトが枝分かれ構造を保持しているということです。
テストセット以外での結果は要旨に公開されていませんが、3つのベンチマークでの有意義な改善が示されていますね。
3つのテストセット以外での結果は公開されていませんが、今後の展開に期待ですね。
実装の手順は明記されていますが、実際のシステムに組み込む際の負荷や、他のモデルとの組み合わせ方については、そこはまだ分かっていません。
最後に、この仕組みが実用化されるのは先になりそうですか。
実用化には、CommonsenseQA、OpenBookQA、MedQA-USMLEの3つのベンチマークで改善が示されています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文