CompactSplat、推論時にメモリと画質のトレードオフを制御可能。
この記事のポイント
- 従来は画素ごとに均等に分配していた
- テクスチャで領域を分けガウスを配置
- 3データセットで高精度。ただし再学習なし
数字で見る
この記事に出てくる数字
| データセット数 | 3 |
|---|
どこで使えるか
推論時のメモリと画質のトレードオフを制御したい人向け。再学習不要でモデルを選ばない arxivで公開済み コードの公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Bing Heらの研究チームが、arXivにCompactSplatという3Dシーン再構築の手法を発表しました。少ない枚数の写真から、その場ごとの調整なしに3Dモデルを作る仕組みです。
少ない写真で3Dを作るんですか?
従来は画素ごとに同じ数の3Dガウスという立体要素を配置していましたが、平面の部分まで同じ密度で埋めていました。CompactSplatは複雑な部分に要素を密集させ、平坦な部分は大きく引き伸ばして敷き詰めます。例えば壁紙を貼るイメージで、模様がある場所は小さな柄をびっしり並べ、無地の場所は大きな柄の布で一気に覆うように配置を変えます。
なるほど。複雑な場所は密に、平らな場所は広めに敷き詰めるんですね。
画像の質感の手がかりで空間を区切り、段階的にサンプリングすることで、内容に応じた配置をネットワークが直接出力する点です。推論時の密度を変えられるので、高精細な表示とメモリ消費のバランスを、学習し直しなしに切り替えられます。
学習し直しなしにバランスを変えられるんですか。では、研究する人から見ると、どこが新しいんですか?
従来の手法が平面でも同じ密度で要素を配置していたのに対し、CompactSplatは内容に合わせて配置を動的に変えられる点です。
動的に変えられるんですか。
RealEstate10KとDL3DVとScanNetの3つのデータセットで、従来の手法を上回る数値を出し、高解像度での表示の安定性も確認しました。必要な立体要素の数は大幅に減っています。
要素が減っても精度が落ちないのは大きいですね。
作る人から見ると、この手法は現場で使える段階ですか。論文にはコードの公開について明記されていません。そこはまだ分かっていません。
公開時期はいつ頃になるんですか?
研究チームからの発表はありません。今後の展開を待ちます。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。