チャートの視覚品質を自己反射で改善するViCo、8Bモデルでの学習と評価

論文

チャートの視覚品質を自己反射で改善するViCo、8Bモデルでの学習と評価

スポンサーリンク

ViCoが8Bモデルで学習し、独自LLMに迫るチャート生成性能を出した

この記事のポイント

  • 既存エージェントは視覚推論が弱い
  • 自己反射でチャートを段階的に揃える
  • 8Bモデルで商用LLMに迫る

数字で見る

この記事に出てくる数字

モデル規模 8B
ベンチマーク数 3

どこで使えるか

チャート生成の品質向上を目指す研究者向け。視覚推論と自己反射を組み合わせる手法の検証に使える arXivで論文公開済み

スポンサーリンク

解説

かみくだいて説明します

Jiaxin Duan さんらの研究チームが、ViCo という学習手法を論文で公開しました。8B という規模のモデルで、人間が書いた学術論文のグラフに近い品質の図を、コードを組むだけで再現できるようになる仕組みです。
なるほど。作る立場から見ると、既存のコード生成 AI にこの反射の仕組みを組み込むのは容易ですか。
確かに図は作れますが、既存の AI は生成した図の見た目や情報が人間が描いたものとズレてしまう点が残っていました。ViCo では生成した図を参照図と比べながら段階的に修正する反射という作業を繰り返すことで、そのズレを段階的に縮めています。
自分で作った図を自分で見直して書き直すんですね。行き止まりを最初から除外するのと同じ仕組みだと分かりました。
効率化のために、モンテカルロ木探索という手法に、一貫性で外れた道を最初から削る処理を組み合わせました。これは迷路を解くときに、すでに通ったことのある道や行き止まりが分かっている道は最初から無視して、残った道だけを試すのと同じ仕組みです。
行き止まりを除外するんですね。では、反射とコードの修正を一緒にやる場合、どこで評価して点数をつけているんですか。
強化学習では、反射の手順とコードを修正する手順それぞれの有益さを、仮にそのステップをしなかった場合の成績と比べることで推定しています。試験で、ある問題だけ解かずに受けた点数と、ちゃんと解いた点数を比べるのと同じ発想です。こうすれば、どの修正が図の品質を上げたのかという信号が薄くなる問題を解消できます。
仮に踏まなかった場合の成績と比べるんですね。図を構成する要素を役割ごとに分類してつながりを比べる仕組みだと理解しました。
評価には階層型異種レイアウトグラフという構造を使っています。図を構成する要素を、見出しや軸、データポイント、凡例といった役割ごとに分類し、それらのつながりを木のように階層化して比較する仕組みです。家屋の図面を階層ごとにチェックリストで照合するのと同じ発想です。これにより、スタイル、配置、情報の整合性を一度に判定しています。
役割ごとに分類してつながりを比べるんですね。8B という規模のモデルでどれくらいの性能が出るんですか。
3 つの公開データセットで検証した結果、8B モデルでも大手企業が提供する大規模言語モデルに迫る性能を出しました。反射の能力も十分保てているため、モデルの規模を小さく抑えながら、図の品質でトップクラスのモデルに追いつける見通しが立っています。
規模を小さくしても品質で追いつくんですね。3 つのベンチマークすべてで改善されたそうですか。
3 つのベンチマークすべてで、グラフのスタイル、配置、情報の整合性が改善されました。反射の精度が上がったことで、複雑な学術グラフでも参照図とのズレが大幅に減っています。
複雑なグラフでもズレが減るんですね。では、この反射を繰り返す学習は、どのくらいの計算資源で回せるんですか。
そこはまだ分かっていません。論文には学習に要する具体的なコストや時間の記載はありません。
最後に、ViCo は別のモデルサイズでも同様の効果が期待できるんですか。
8B モデルでの結果が示す通り、規模が小さくても反射の仕組みを活かせば性能が出ます。ただ、より大きなモデルや異なるタスクへの適用については、今回の論文では検証されていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文