FoundationStereoが商用利用可能なゼロショット汎化の深さ推定モデルとして公開された
この記事のポイント
- ステレオ画像から奥行きを推定する
- DepthAnythingV2とCNNを混合した
- 商用利用可能なオープンモデル
どこで使えるか
産業・ロボティクス・スマート空間の3D知覚を自前で実装したい人向け Hugging Faceで公開済み ライセンスはother
スポンサーリンク
解説
かみくだいて説明します
NVIDIA Researchが、ステレオ画像から奥行きを正確に読み取るモデル、FoundationStereoを公開しました。世に出たのは2026-09-15で、商用利用も可能な状態です。
2枚の写真から奥行きが分かるんですね。開発者が追加で学習させなくても、いろんな現場でそのまま使えるということですか。
そうです。追加の学習なしで、工場やロボット、スマートスペースといった幅広い環境に対応します。ネットワークの仕組みはTransformerとCNNを合わせた混合構造で、DepthAnythingV2という既存のモデルを凍結させた上で、EdgeNeXtというCNNモデルと組み合わせています。
既存のモデルを凍結させるのは、何を防ぐためですか。
凍結させるのは、すでに身についている特徴量を崩さないためです。ただ、EdgeNeXtの層は学習させています。新しいタスクに合わせて層の重みを少しだけ書き換える、サイドチューニングという手法です。画像の特徴を拾う部分と、奥行きを計算する部分を別々に最適化しているイメージです。
奥行きを計算する部分は、具体的にどう測るんですか。
左右の画像から得た特徴量を、AHCFというコストボリュームに掛け合わせて関連性を算出します。ここがまだ解像されていない点として、特定の条件で精度が落ちるケースがあるかどうかは、公開された資料には明記されていません。
開発者が手元で動かす場合、必要な環境は決まっているんですか。
必要な環境や動作条件の具体的な仕様については、そこには記載されていません。ライセンスはNVIDIA Open Model Licenseで、モデルをダウンロードする時点で利用規約に同意する形です。
では、論文で示された評価結果は、どのくらいの規模で測ったんですか。
評価データセットの件数やベンチマークの名前については、今回の公開資料には記載がありません。ゼロショットでの汎化性能を重視した設計であることは明記されていますが、具体的な数値や比較対象のモデル名は、そこはまだ分かっていません。
産業やロボットへの応用が見込まれるなら、精度の裏付けが気になる所です。
最後に、実機での動作確認はいつ頃になる見込みですか。
実機での動作確認は、FoundationStereoが商用利用可能で、NVIDIA Open Model Licenseの条項を受諾することで利用できます。
出典
この記事のもとになった情報
- Hugging Face:nvidia/c-foundationstereo-s
- 公開日:2026-09-15
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。