SAM 2.1の建物部材セグメンテーション性能が向上。3D 再構築の前処理精度が上がる。
この記事のポイント
- 2D建具の多クラス分割が不十分
- SAM 2.1を42棟2,679枚で学習
- mIoUは49.9%から69.6%に向上
数字で見る
この記事に出てくる数字
| 学習画像数 | 2,679 |
|---|---|
| 建物の数 | 42 |
| クラス数 | 11 |
どこで使えるか
3D再構築で建具を正確に分割したい人向け。学習データが要る。 arXivで論文公開済み
スポンサーリンク
解説
かみくだいて説明します
Ehsan Agha Ebrahimiらの研究チームが、建物の壁や窓といった部品を画像から自動で切り出すモデル、SAM 2.1 を建物用に書き換える手法を発表しました。建物 42棟から選んだ 2,679枚の画像で学習させたところ、11種類の部品の切り出し精度を示す mIoU が 49.9% から 69.6% に向上しました。
49.9% から 69.6% ですか。mIoU という数字は、具体的に何を測ったんですか。
各部品の切り出しがどれくらい正確かを測る数字です。例えば壁を切り出すとき、正しく壁だけを残せている面積の割合を 0 から 100 までで表したものです。69.6% になれば、切り残しや余分な部分がかなり減ったことになります。
切り残しや余分な部分が減るわけですね。では、学習に使う画像は 2,679枚だけで、そんなに精度が上がったんですか。
確かに少ない枚数ですが、もともと汎用性が高いモデルを建物の画像に特化させているからです。SAM 2.1 はもともと何でも切り出せるように作られていますが、壁や窓、天井といった建物の部品だけに絞って学習させることで、余計な部分を拾わなくなりました。
何でも切り出せるモデルを、建物だけに絞るわけですね。では、切り出した部品は 3D 空間でどう使うんですか。
切り出した画像の部品を、3D の空間データに重ね合わせてグループ化します。これを GARField という手法で処理すると、建物の構造を自動的に 3D 模型として組み立てられます。学習済みモデルと書き換え後のモデルを比較したところ、書き換えた方が部品のまとまりがはっきりしました。
3D 模型として組み立てられるんですね。では、部品の種類は全部でいくつ対応しているんですか。
壁、窓、天井、ドア、柱、梁、床、開口部、カーテンウォール、屋根、エレベーターシャフトの 11 種類です。比較対象として SegFormer という別のモデルでも試しましたが、表面積の大きい部品を中心に精度が向上していました。
11 種類で、大きな部品ほど良くなるんですか。では、ユーザーが選ぶまとめ方の大きさによって、結果は変わりますか。
変わります。ユーザーが指定したまとまりの大きさ、つまりグループ化のスケールに合わせて、部品の境界がはっきりしたり緩やかになったりします。これまでは汎用モデルだと境界が曖昧になりがちでしたが、建物用に書き換えることでその辺りが調整しやすくなりました。
境界の調整もスケールでできるんですね。では、この手法は既存の 3D 組み立てソフトとどう違いますか。
既存の手法では部品の切り出しと 3D 組み立てが別々に行われることが多いですが、この研究では切り出し精度の向上を直接、組み立ての精度に結びつけています。11 種類の部品を正確に区別できるようになったことで、自動で 3D 模型を再構築する工程全体が効率化できます。
切り出しから組み立てまで、一貫して精度が上がることですね。最後に、この手法は一般の建築現場でもすぐ使えますか。
建物の画像データと学習済みのモデルが揃っていれば、切り出しと 3D 組み立ての工程を組み込むことができますが、具体的な導入方法や必要な計算資源については、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。