ReFigBenchがマルチモーダルエージェントの科学図PPT変換能力を評価。
この記事のポイント
- 1000図の再構築を10構成で評価
- モデルとハルネスの組み合わせで結果が変動
- ネイティブコネクタは消えるが人間は好む
数字で見る
この記事に出てくる数字
| モデルファミリ | 4 |
|---|---|
| 構成数 | 10 |
どこで使えるか
arXivで公開済み
動画を見る
スポンサーリンク
解説
かみくだいて説明します
Liyang Fanらの研究チームが、2026年9月17日にReFigBenchというベンチマークを公開しました。画像からテキストや配置をそのまま残した編集可能なパワーポイントのスライドを作り直すタスクを、1,000個の実際の論文図表で測ったものです。
論文の図をパワーポイントに自動で起こすんですね。1,000個も用意した理由は何ですか。
確かにその通りです。既存の評価は短い命令の呼び出しや画面の似具合だけを見ていたため、モデルが見えていないのか計画が下手なのか、周りのツール環境が失敗を招いたのか区別がつきませんでした。1,000個の図表で測ることで、それぞれの失敗の原因を正確に特定できるようにしました。
作る側の技術者から見ると、ハルネスが変わるだけで同じモデルの点数が動くのは困りますね。では、組み合わせで点数が変わる具体はどれくらいですか。
はい、その通りです。4つのモデルファミリーからエージェントを選び、直接コードを書く方法とパワーポイント専用ワークフローの2通りで試しました。さらに最も強いモデルを2つの商業用ハルネスで動かした結果、合計10パターンで比較しています。同じモデルでもハルネスが変われば同じプロンプトでも点数が動くのが確認されています。
10パターンも組み合わせがあるなら、結局どこが壁になっているんですか。
壁になっているのは知覚の部分です。反復して描き直すことで多少は改善しますが、完全には追いつきません。忠実さと編集しやすさの取り合いが核心で、図をそのまま再現しようとすると編集機能が削がれ、編集しやすくしようとすると図の精度が落ちる構造になっています。
忠実さと編集しやすさの取り合い、確かに分かりにくい点があります。もう少しやさしく言うとどうなりますか。
確かに分かりにくい点ですね。写真の切り抜きをパワーポイントに貼るイメージです。切り抜きを忠実に残そうとすると、文字や図形の枠がくっついて動かせなくなります。逆に枠を一つ一つ独立させると、切り抜きの形が崩れてしまいます。このバランスをどう取るかが、実用化の鍵になります。
文字や図形の枠が独立しないと動かせない、つまり研究の図をパワポで使い回すには手動で直す部分が残るということですね。では、人間が評価した結果はどうでしたか。
人間の評価でも、専用ワークフローの方が多くの対戦で選ばれました。ただし、専用ワークフローは図を繋ぐ線であるネイティブコネクタを全て消してしまうのが課題です。最も強いエージェントでも、評価の上限に達していないのが現状です。
繋ぐ線が消えてしまうのは、図の構成を変える時に困りますね。最後に、この研究が実用になるのはいつ頃だと見られますか。
実用化の時期については、そこはまだ分かっていません。モデルとハルネスの組み合わせ次第で結果が変わるため、特定の製品やサービスに組み込む基準が定まるまで、もう少し検証が必要だと考えています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。