ローリングシャッターを逆向きにも走査して露光を補い合い、動きの速い場面のHDR連続画像を復元する手法

論文

ローリングシャッターを逆向きにも走査して露光を補い合い、動きの速い場面のHDR連続画像を復元する手法

スポンサーリンク

HaRPが、ローリングシャッターの歪みを補正しつつ HDR 連続画像を復元できるようになった

この記事のポイント

  • RSGRは速度とダイナミックレンジが制限される
  • 相補露光と行適応アライメントでHDR化を実現
  • 実データとシミュで検証。ただし同手法との比較は不明

どこで使えるか

ローリングシャッター歪みとHDRの両立を図りたい人向け。相補露光とネットワークで補正する 論文公開済み(arXiv) 実データセット構築のため専用装置必要

スポンサーリンク

解説

かみくだいて説明します

スマホのカメラで動く被写体を撮ると斜めに歪むローリングシャッター現象って、皆さんも経験ありますよね?
確かにその通りです。CMOSセンサーの読み出し方式に起因する幾何学的歪みやモーションアーティファクトが、モバイル写真の品質を常に脅かしています。
最近のRSGRモードって、その歪みを減らすために開発されたんですよね? でも何か問題があるんですか?
問題があります。グローバルリセットとローリングシャッターを併用するRSGRモードは歪みを抑制できますが、取得速度の低下とダイナミックレンジの圧縮という代償を払わなければなりません。
arXivに投稿されたHaRPという研究が、この課題を解決する双方向スキャン手法を提案しています。RSGRと逆方向のRSGRの2つのビューを同時に活用する構成です。
そのアプローチって、具体的にはどういう仕組みなんですか?
RSGRとinverted RSGRの2つのスキャンモードから得られた補完的な露出を同期させ、フレーム全体のダイナミックレンジを均等化します。ネットワーク側では行ごとの特徴量アライメントを行い、相関誘導ミックスアテンションブロックで欠落したディテールを回復します。
行ごとのズレを補正しつつ、相関情報で欠落部分を補完するんですね!
従来のナイーブなRSGR実装と比べた場合、具体的にどこが改善されるんですか?
RSGRが抱える取得速度の低下やダイナミックレンジ圧縮といった課題を扱い、動的シーンでのHDR撮影手法を提案しています。
歪みの補正だけでなく、HDR映像の連続撮影自体の精度が上がったんですね!
数値シミュレーションだけでなく、実機で収集したデータによる検証でもその恩恵が明確に確認されています。
でも、2つのカメラアングルを同時に使う以上、結局根本的な解決にはなっていないんじゃないですか? 装置が大型化しませんか?
実は、実世界のデータセットを構築するために同軸イメージングシステムを構築しました。
研究段階の成果なら、実際に自分で試す方法はあるんですか?
提案された双方向走査セットアップは、RSGRと逆RSGRの両方のビューを活用してHDR画像シーケンスを構築するものです。
このセットアップは、RSGRの欠点を補いつつHDR再構築を可能にするものです。
歪みなしで滑らかなHDR動画が撮れる未来が近づいたんですね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文