視覚的な品質を改善するAesCode、コード生成モデルに画像を参考にする話

論文

視覚的な品質を改善するAesCode、コード生成モデルに画像を参考にする話

スポンサーリンク

AesCodeが、8B で視覚品質を 31.1 ポイント、32B で 22.4 ポイント向上させた。

この記事のポイント

  • コードモデルはキャンバス上の見た目が分からなかった
  • 画像を視覚報酬にして強化学習で最適化した
  • Qwen3-VL比+31.1pt。ただし同規模限定

数字で見る

この記事に出てくる数字

8Bモデルの視覚品質向上 31.1pp
GitHubの星 42

どこで使えるか

コードの視覚品質を上げたい人向け。画像を報酬にして強化学習で最適化。 GitHubで公開済み 8Bと32Bで改善度が異なる

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Microsoft が 10 月 14 日に公開した AesCode は、スライドやポスター、ダッシュボードをコードの形で生成する手法です。コードモデルは自分が組んだレイアウトや色を画面で確認できず、画像生成モデルは指定した文字が正しく描画されない問題がありましたが、AesCode は同じ指示から作った画像を美学の手引きとして使い、コードの品質を大幅に引き上げました。
画像を手引きにするんですか? 具体的にどうやってコードと画像の両方から評価するんですか?
生成した画像とコードを「デザイングラフ」という図にまとめて、一つ一つの要素に番号を振ります。番号ごとに評価を分け、コードから読み取れる配置やサイズは正確に点数を付け、読み取れない色合いやバランスは別の AI がグラフの要素同士を見比べて採点します。この二つの点数を別々に強化する学習で、空間の計画と視覚の美しさを同時に上げます。
二つの点数を別々に強化する学習って、どういう仕組みなんですか? 専門用語が続いていて、どこが新しいのかまだ掴めません。
正確には、テストの答え合わせを二つの先生に任せるイメージです。一人の先生は数字や配置など明確な項目だけをチェックし、もう一人の先生は全体の雰囲気や色の調和を見て採点します。二人の採点を同時に目標にプログラムを鍛えるので、コードの正確さと見栄えの良さがバラバラにならずに上がります。
なるほど、二人の先生で同時に鍛えるんですね。既存のモデルと比べて、どれくらい視覚の品質が上がったんですか?
同じ規模の Qwen3-VL に同じ画像の手引きを渡した状態で比べた場合、AesCode-8B が 31.1 ポイント、AesCode-32B が 22.4 ポイント向上しました。この数値は GPT-5.5 や Claude Opus 4.8 といったクローズドソースの最先端モデルと同等の水準に達しています。
31.1 ポイントも伸びたんですか。コードとして使えるという点では、現場で組み込む技術者はどう使い分ける見通しですか。
コードは公開されていて、既存のモデルに参照画像を入力や報酬の材料として組み込めば、視覚的な質を底上げできると考えられます。
では、評価の仕組みについてもう少し詳しく聞きたいんです。人間の判断とどれくらい一致しているんですか?
独自に作ったベンチマークで、コードの正確さと視覚の品質を別々に評価した結果、視覚の点数は人間の判断と高い相関を示しました。つまり、人間の目が美しいと判断するデザインほど、この手法が自動的に高く評価しているということです。
最後に、今後の展開について教えてください。この手法が実用化されるまでの課題は何ですか。
実用化の課題については、論文では具体的な言及がありません。ただし、AesCode-8BとAesCode-32BがGPT-5.5やClaude Opus 4.8に匹敵するスコアを達成していることから、.closed-source frontier modelsとの比較において競争力のある結果が得られていると言えます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文