TaoD2C-Benchが公開。8モデルの検証で実装要件を満たすUIコード生成に大きな課題が浮上。
この記事のポイント
- 実装要件を満たすUIコード生成能力の評価が不十分だった
- 2,861件の実制作デザインと97,652件の注釈でベンチマークを作成
- 視覚再現能力が高くても要件を満たす生成力があるとは限らない
数字で見る
この記事に出てくる数字
| データ数 | 2,861 |
|---|---|
| 注釈数 | 97,652 |
| 評価モデル | 8 |
どこで使えるか
UIコード生成の要件充足を自前で評価したい人向け。視覚再現と要件充足は別と分かる 論文で公開済み 8モデルで評価済み
スポンサーリンク
解説
かみくだいて説明します
Chengwei Shiらの研究チームが、マルチモーダル大規模言語モデルのユーザーインターフェースのコード生成能力を評価するベンチマーク、TaoD2C-Benchを2026年10月8日に公開しました。17の商業プラットフォームから2,861の設計図を集め、97,652の専門家的な注釈を付けたデータセットです。
工業用のコード生成を測るベンチマークですね。モデルがデザイン画像を見てコードを書くとき、見た目だけじゃなくルールも守れるか見るんですか?
そうです。見た目通りの画像を再現する能力と、実装要件を満たすコードを出力する能力は別物だと示しています。8つのモデルを3つのタスクで評価したところ、要件推論と実現の面で大きな差が出ました。
見た目と実装がズレるんですか。作る側の技術者から見ると、これは現場の作業をどう変えますか。
従来は画像を忠実にコピーする段階でしたが、今回はコンポーネントの配置やレイヤーのメタデータといった制約を推論して、対象ライブラリのルールに沿ってコードを組む段階です。例えば建築図面を見て、見た目だけじゃなく建築基準法や資材の仕様も満たして実際に建てられる設計書を作るようなものです。
建築基準法に合わせるイメージですね。では、注釈は4つのカテゴリに分けているんですか。
そうです。コンポーネント、グループ、配置、位置の4つです。それぞれの注釈で、守るべき制約と、実装方法として許される選択肢を区別しています。
守るべきものと許されるものの区別が大事ですね。研究している人から見ると、どこがまだ解けていないんですか。
視覚的な再現能力が高いモデルほど、実装要件を満たすコードを生成できるとは限らない点が課題です。3つのタスクのうち、要件推論と要件実現は特に得点が低く、今後の改善余地が大きい状況です。
再現能力が高いだけでは足りないんですね。データは一般公開されるんですか。
公開しています。工業用のユーザーインターフェースのコード生成を研究する人たちが、実務に近い環境でモデルを評価できるようにするためです。
実務に近い環境で測れるようになるんですか。
そうです。ただし、8つのモデルで測った結果が全てのケースに当てはまるか、あるいは特定のライブラリに特化していないかについては、そこはまだ分かっていません。
最後に、このベンチマークが普及すれば、モデル開発の方向性は変わりますか。
見た目だけの評価から、制約を満たす実装能力への評価軸が移る可能性は高いですが、産業向けの実際の設定での評価はまだ不十分です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。