複数のモデルを組み合わせる際の情報を残す範囲を測った ScanNet200 の実験

論文

複数のモデルを組み合わせる際の情報を残す範囲を測った ScanNet200 の実験

スポンサーリンク

複数のモデルを組み合わせる際に情報を残す範囲を測った ScanNet200 の実験

この記事のポイント

  • 固定モデルの組み合わせで情報損失が問題
  • セマンティック候補数を増やす介入を実施
  • 分布融合が優位だが較正修正では解消しない

数字で見る

この記事に出てくる数字

HM IoU向上 +6.40
HM IoU向上 +3.48

どこで使えるか

複数の固定モデルを組み合わせて推論したい人向け。情報損失を避ける手法が選べる arXivで公開済み コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Silas Kwabla GahさんとEbenezer OwusuさんがarXivに発表した研究で、複数のAIモデルを組み合わせて3D画像を解析する際、正解のクラスを一つに絞ると、性能がおよそ6.4ポイント低下することを実験で明らかにしました。
複数のモデルを組み合わせると言っても、それぞれが別々に学習した凍ったモデルをそのまま使う話ですね。組み合わせる時に、どのクラスかを決める段階で情報を減らすと、そこがボトルネックになるんですか。
そうです。それぞれのモデルが出力する確率のリストを、一番確率が高い一つだけ選んで渡す代わりに、上位の候補を複数残して次のモデルに渡す仕組みを試しました。凍ったモデルとは、学習済みの重みをそのままで動かさないモデルのことです。例えば、ある画像に猫がいるか犬がいるか迷っている時に、猫と犬の両方の情報を次に渡すイメージです。
なるほど、迷いを残す方が次の段階で判断しやすくなるわけですね。では、候補を全部残した場合と一つだけ残した場合で、実際にどれくらい差が出るんですか。
156のテストデータで性能を測った結果、一つだけ選んだ時は28.47のHM IoUでしたが、候補を全て残した時は34.87に上がりました。同じテストを50の別のデータセットでも試したところ、一つ選びの23.02から全て残しの26.50に上がっています。
確かに大きな差ですね。では、候補を全部残すのが必ずしも一番良いわけではない場合もあるんですか。
候補を全て残すのが安定しているのは、モデルの重みを0.3から0.7の間で変えた時です。また、maxや幾何平均でまとめる操作でも、一つだけ選ぶtop-1よりは性能が上回りました。
なるほど、一つに絞るより複数の候補を残す方が、組み合わせた時の精度が安定するということですね。では、この仕組みは実際にAIを組み合わせて使う開発現場で、すぐに取り入れられる話ですか。
凍ったモデルの重みやマスク、幾何情報、用語、融合ルールは変えずに、渡す候補の数だけを変える仕組みなので、既存の組み合わせ作業に組み込みやすい形になっています。ただ、二つのモデルがそれぞれ違う方向に確率を振る補正のズレがあるため、補正を直しても候補を残す利点は消えないと報告されています。
補正をしても残る利点があるなら、開発者は迷いを残す設定を標準で入れておけばいいということですね。では、別のモデルペアでも同じ結果が出ているんですか。
GroundingDINOとSAM2.1の組み合わせで試したところ、候補を全て残すことで14.77から18.75に性能が単調に上がっています。どのモデルの組み合わせでも、適切な数の候補を残すことで情報の損失を防げる傾向が繰り返されています。
別の組み合わせでも同じ傾向が出るなら、開発の標準手順に組み入れられそうです。最後に、この研究の次の展開として、どの部分がまだ解けていないんですか。
候補の最適な数を決める基準や、異なる種類のモデルペアでも同じ傾向が繰り返されるかどうかは、これから検証が必要です。そこはまだ分かっていません。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文