null-calibrated evaluationが、心拍数推定の候補選別で過大評価の仕組みを明らかにした
この記事のポイント
- シグナル品質指標の選定が偶然の一致で有利になる可能性が不明確だった
- 96 件の記録で 168 候補のオラクル評価を統計モデルで分析した
- オラクルが最も精度が高いが、候補数が減ると他記録の信号と同等になる
数字で見る
この記事に出てくる数字
| Oracle MAE | 0.91bpm |
|---|---|
| 固定設定MAE | 10.74bpm |
| 品質指標MAE | 18.03bpm |
どこで使えるか
シグナル選定が偶然有利になるリスクを避ける人向け。オラクル評価の限界を知る arXivで論文公開済み 評価手法の分析。実装コードの公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Mohammad Rakibur Rahman たちの研究チームが、カメラで体温を計測して心拍数を読む手法の精度評価について、arXiv に論文を発表しました。複数の顔の部位や処理の設定から候補が数十個出てきたとき、正解に近い方だけを後から選ぶオラクルという評価方法に、偶然の一致で誤差が小さく見せる欠点があることを示しています。
正解に近い方だけを後から選ぶ、というのは、テストの答え合わせをしたあとで一番当たった選択肢だけを取り上げるみたいな話なんですか?
正確にはその通りです。本来は参考になる基準信号がない状態で信号の良しあしを判断する仕組みですが、評価の段階で基準信号をわざわざ使ってしまうため、偶然当たった候補が選ばれやすくなります。例えば、何回もサイコロを振って一番出目の近い数字だけを取り上げるようなものです。候補が K 個あるとき、誤差はおおよそ 1/K まで下がっていきます。
なるほど。では、開発する側からすると、このオラクル評価はもう使えないということですか。
使えなくなるわけではありませんが、報告の仕方を変える必要があります。候補の数や実際に使えるデータの割合、そして基準信号を使わない対照群を必ずセットで示すようにしないと、誤差が小さく見えているだけの場合があるということです。
これまで報告されていた精度と比べて、どこが新しいんですか。
96 本の記録で 10 秒ごとに 168 個の候補を出した実験では、オラクルで選んだ場合の平均誤差は 0.91 bpm でした。一方、設定を固定した最高の値が 10.74 bpm、信号の良しあしを判断する指標だけで選んだのが 18.03 bpm、一定の値を返す予測器が 8.61 bpm でした。
168 個も候補を出すと、外れた信号が偶然正解に近づく確率が跳ね上がるんですね。
そうです。候補が 24 個のとき、別の記録から取った額面の信号が 4.62 bpm で、正しい信号の 4.61 bpm にほぼ追いつく結果が出ています。研究している人から見ると、これまでオラクル評価で報告されていた精度の多くが、実は候補の数が増えたことによる偶然の恩恵だった可能性が高いということです。
実際、製品開発の現場では基準信号がない状態で評価する必要があります。論文ではnull controlsの報告を求めています。
そうです。製品開発の現場では、基準になる信号が常に手元にあるとは限らないため、それがない状態での評価が現実と一致します。論文では、候補の数と実際に使えるデータの割合、それに null 制御の対照群を報告に含めるよう求めています。
では、これからこの手法を組み込む製品を作る人は、どう対応すればいいんですか。
信号を選んだ結果だけを載せるのではなく、何個の候補から選んだか、基準信号なしで選んだ場合の対照実験の結果を一緒に公開する必要があります。そうすれば、同じ条件で他手法と正確に比較できるようになります。
最後に、今後の見通しを教えてください。
オラクル評価では、候補数と有効カバレッジ、そして一致した基準なし対照群をあわせて報告すべきだとしています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。