異物検査の精度を上げる SiGMA、複数の AI を組み合わせて検出精度を高める話

論文

異物検査の精度を上げる SiGMA、複数の AI を組み合わせて検出精度を高める話

スポンサーリンク

SiGMAが MMAD で平均精度 85.2% を達成。9B パラメータ 3 エージェント構成でも 84.4%。

この記事のポイント

  • 専門モデルでも局所化精度が低い
  • 異種モデルを分工する枠組みを作った
  • MMADで85.2%。ただし92.3%には及ばない

数字で見る

この記事に出てくる数字

MMAD平均精度 85.2%
3エージェント時精度 84.4%
専門家精度 75.5%

どこで使えるか

異物検出の精度を上げたい人向け。専門モデルの限界を超える arXivで論文公開済み 9Bパラメータは3エージェント構成時の最大値

スポンサーリンク

解説

かみくだいて説明します

Xingwu Zhang さんの研究チームが arXiv に論文を発表しました。工場の製品に欠陥があるかどうかを、画像認識と文章生成で同時に判断するタスクで、単体のマルチモーダル大規模言語モデルでは検出から推論まで一手間足りません。
専門のデータで訓練しても、人間の目には届かないんですか?
届きません。MMAD というベンチマークで測ると、欠陥の場所を特定する精度は訓練済みのモデルで最高 75.5% です。一方、人間の専門家は 92.3% を記録しています。訓練した結果、元のモデルよりかえって悪化するケースもあるといいます。
訓練したはずなのに元より悪くなる。その差を埋める方法があるんですか?
複数のモデルを組み合わせても、細かな視覚認識の弱点は共通しているからです。そこで SiGMA という枠組みで役割を分けました。工場の知識と正常な製品の画像を引く検索役、欠陥の有無を照合する専門役、そして教師なしで各回答の信頼度を測る調整役の三つです。
三つのモデルを同時に動かすのは、各モデルが最大9Bパラメータでも十分ですか。
9Bパラメータ以下のエージェント三体を組み合わせた場合でも、精度は84.4%に達します。
調整役が各回答の信頼度を測ると言いましたが、そこがまだ掴めません。もう少しやさしく言うとどうなりますか?
正常な製品の画像を基準に、問い合わせと照らし合わせた時の証拠の強さを数値化します。証拠が弱い回答ほど最終判断への权重を下げ、強い回答ほど权重を上げる仕組みです。
新しいモデルを追加する時も再学習が不要。それは現場でどの段階で可能になるんですか?
役割分工の仕組みがあるため、新しいマルチモーダル大規模言語モデルを差し替えて組み込むだけで使えます。追加の学習手順は要りません。
人間の専門家に 1.5% 差まで迫る精度は、どのくらいのデータで測った結果ですか?
MMADベンチマークで測った平均精度です。マルチモーダル検索が産業知識と正常参照を供給し、欠陥判定専門家が照合を証拠に変え、信頼性コントローラーが重み付けして、85.2%を達成しています。
最後に、現場の工場ラインに導入する見通しはどうなりますか?
再学習不要で新しいモデルが追加できる点は実用性が高いですが、9Bパラメータの3エージェントでも84.4%の精度を達成しているという結果は、実装の簡便さと性能の両立を示しています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文