画像品質を測る指標で動画圧縮を最適化する手法、推論コストと画質の両立

論文

画像品質を測る指標で動画圧縮を最適化する手法、推論コストと画質の両立

スポンサーリンク

IDQD-RDOは、対象指標で14.2〜36.7%の符号量削減をデコーダ変更なしで達成。

この記事のポイント

  • FR-IQA指標はブロック毎に分解できず
  • ヘッセ行列のブロック対角・対角近似
  • 5指標で対象指標上14.2-36.7%削減

数字で見る

この記事に出てくる数字

BD-rate削減 14.2-36.7%
符号化負荷増 10-30%
テストメトリクス 5つ

どこで使えるか

対象指標上で14.2-36.7%削減したい人向け。デコーダー変更不要 GitHubで公開済み

スポンサーリンク

解説

かみくだいて説明します

動画圧縮の品質評価って、結局人間の目には合わないまま進んでいますよね?
確かにです。従来のSSEという二乗誤差の合計は計算が楽ですが、人間の視覚特性を必ずしも反映しません。
MS-SSIMやLPIPSのような人間の目に合う指標があるなら、なぜ圧縮の過程で使わないんですか?
圧縮の最適化ではブロックごとの独立した計算が不可欠ですが、それらの指標は完全な復号画像が必要でブロック単位に分解できないからです。
arXivで公開された本研究では、これらの指標を入力に依存する二次歪みIDQDで近似する手法が提案されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
指標のヘッセ行列をソース動画で評価し、ブロック対角成分か対角成分のみを残すことで計算を可能にします。自動微分による行列ベクトル積の推定子を用いるのが特徴です。
ヘッセ行列の近似で計算コストを抑えるんですか!
実際の品質向上効果はどの程度見込めるんですか?
VVC環境でのKodakとCLICデータセットにおいて、ターゲット指標を基準に14.2〜36.7%のBDレート削減を実現し、デコーダーの変更は不要です。
従来のSSEベースの実装と比べると明確な差が出るんですか?
対象となる品質指標では14.2〜36.7%のBD-rate savingsが得られています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。動画内容によって安定性にばらつきがあるのは否めませんが、エンコーディングの複雑性が10〜30%増えるのは避けられないオーバーヘッドです。
実際の試し方はどうすればいいんですか?
GitHubで公開されているリポジトリからコードを取得し、VVCのエンコーダーに組み込む形で試せます。ぜひ検証してみてください。
VVCでの検証では、14.2〜36.7%のBD-rate削減が達成されています。
MS-SSIMやLPIPSはヒトの視覚系によりよく一致すると言われています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文