3D形状をオクトリで扱うOctLLM、言語能力を損なわず3D理解と生成を行う話

論文

3D形状をオクトリで扱うOctLLM、言語能力を損なわず3D理解と生成を行う話

スポンサーリンク

OctLLMが、言語能力を損なわず 3D 理解と生成を行う手法を公開した

この記事のポイント

  • 3D言語モデルは空間構造を失っていた
  • オクトツリー符号で幾何学を明記した
  • 画像から3D生成のFIDが17.4%改善

数字で見る

この記事に出てくる数字

FID削減率 17.4%
キャプション向上 28.7点

どこで使えるか

3D理解を言語モデルに組み込みたい人向け。空間構造を明記し、言語能力を維持する GitHubで公開済み 学習済みモデルは記載なし

スポンサーリンク

解説

かみくだいて説明します

arXivに2026年10月5日に出されたOctLLMは、3Dと言語を一つにまとめた手法です。形状を数値に圧縮する従来の手法に対し、3Dの形を木の枝分かれの列で入力し、言語の部分は凍らせたまま3Dの能力を追加します。
3Dの形を木の枝分かれの列で入れるんですね。作る側からすると、これまでは3Dのデータを手元で動かすのに言語モデル全体を書き換える必要があったんですか?
はい、全体を書き換えるのはコストが高く、かといって小さくまとめるLoRAという手法だと3Dの表現力が足りなかったです。OctLLMはモデルの内部を何段かの部屋に分け、その一部に3D専用の通路を新しく設けて、その通路の壁だけ塗り替えるように学習します。
通路の壁だけ塗り替える感じですね。だとすると、3Dの形をどうやって短くしているんですか?
木の枝分かれを奥までたどるとデータ量が増えすぎるため、最後の段の手前をランダムに空っぽにして、その先の小さな箱を全部飛ばします。形は残ったまま座標と深さだけで位置を特定できるSparse Octreeという形式にします。
最後の段の手前だけ空にして先を省略するんですね。小さな箱って何ですか?
枝分かれの先にある小さな塊です。親の箱からさらに四つに割った中の一つです。空っぽの親の箱の先は全部省くことで、データ量を減らしています。
四つに割った中の一つを省くんですか。では、評価で画像から3Dを作る精度が17.4%上がるとありますが、FIDという数字はどういう意味ですか?
FIDは生成された形状が元の写真とどれだけズレているかを測る指標です。数値が低いほど実物に近い形が出ます。既存のShapeLLM-Omniを17.4%下回りました。
数値が低いほど実物に近い形が出るんですか。では、3Dを文章で説明する能力はどう変わりましたか?
3Dの形をレンダリングした画像から文章を生成するテストで、28.7ポイント上げました。テストは問題集の点数のようなもので、この分野の標準的な課題で測った結果です。言語の一般的なテストでは、もとのバックボーンと同等のスコアを維持しています。
問題集の点数で測ったんですね。コードは公開されていますか。
はい、GitHubに公開されています。研究チームは、この手法が3Dと言語を統一する新しい基準になるとしています。
3Dと言語を統一する新しい基準になるんですか。では、実用化に向けてまだ何が解けていないんですか?
実用化に向けた性能向上としては、画像から3D生成のFIDが17.4%低下し、レンダリングに基づくキャプション精度が28.7ポイント向上しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文