M3Tのドローン外壁検出は、剥離検出は向上するも全体精度は RGB 単独と同等。
この記事のポイント
- RGBと熱画像の幾何学差を補正したパイプラインを提示した
- 674枚のペアデータで、IoU 0.5〜0.95の範囲で mAP 0.168 を記録した
- 剥離検出は向上したが、全体精度は RGB 単独を上回らなかった
数字で見る
この記事に出てくる数字
| 登録誤差中央値 | 3.384px |
|---|
どこで使えるか
ドローン外壁検出を自前で試す人向け。放射測定値を4チャンネル化し、剥離検出は向上するも平均精度は低い arXivで公開済み M3Tデータセットは674枚
スポンサーリンク
解説
かみくだいて説明します
Yuan Yang, Shulei Li, Haobo Liang たちの研究チームが、ドローンで建物の外壁を点検する際に使う可視光カメラと熱画像カメラの画像を合わせる手法を発表しました。674 枚のペア画像からなる M3T というデータセットで評価を行っています。
2 枚のカメラの位置がずれていると画像が重ならないので、そこをどう揃えるのか気になります。
複数の補正を通してから画像を重ね合わせ、位置のずれの中央値を 3.384 ピクセルに抑えています。16 ビットの数値データから、周囲より少しあたたかい部分とひえる部分の差だけを抽出して、可視光画像に追加のチャンネルとして重ねる仕組みです。例えば建物の壁に隠れた空洞がある場所だけ、サーマル画像に薄い影を落とすようなものです。
周囲との差だけを信号に残すんですね。温度差が小さい部分も検出できるようになるはずです。
正確には、温度の絶対値ではなく、隣り合う画素の差だけを信号として残すことです。断熱材のはがれには明確な温度差が出るので、可視光画像だけより検出精度が上がっています。ただし、全体としての正解率は可視光画像単体と同等です。
全体精度が上がらないのであれば、計算コストはどのくらいかかるんですか。
1枚の画像あたり28.50 billionの浮動小数点演算が必要です。これはコンパクトな単一ストリーム検出器が使用する演算量で、効率的な処理を実現しています。
では、対象となる部材の種類は限られているんですね。
8 種類の外壁部材と、はがれ・ひび割れ・腐食などの異常カテゴリーを対象にしています。ただし、公開データセットでの評価では、レンダリングした熱画像を使った場合の精度は安定していません。
公開データセットでの評価が安定しないのは、実機の画像とレンダリング画像の差が原因なんですね。実機画像だけで精度を上げるには何が要るのか気になります。
公開データセットでの評価が安定しないのは、実機の画像とレンダリング画像の差が原因なんですね。実機画像だけで精度を上げるには何が要るのか気になります。
最後に、研究している人から見ると、どこがまだ解けていないんですか。
公開データセットでの安定しない精度や、特定の異常種別に対する補完的ツールとしての将来の見通しについては言及がない
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。