ローカル端末向け9種のNER手法を精度・速度・出力の壊れ方・自信度の信頼性で比べた。
この記事のポイント
- API不要のNERを9システムで比較
- 銀地金で精度を測り評価軸を加えた
- 4B LLMは競争力あり。ただし小モデルに無効出力あり
数字で見る
この記事に出てくる数字
| モデル規模 | 13M to 8B |
|---|
どこで使えるか
オンデバイスNERでモデル選定に迷う人向け。精度・速度・信頼性を一度に評価できる arXivで公開済み 9システム・3データセットのベンチマーク結果
スポンサーリンク
解説
かみくだいて説明します
Vinay Kumar Chaganti氏がarXivに公開した研究です。オンデバイスで動く名前認識モデルを9つ、13 Mから8 Bパラメータの範囲で比較し、精度だけでなく処理速度と出力の有効性を測りました。
9つも比較したんですね。現場で組み込む技術者から見ると、どれが実際に使いやすいんですか?
精度だけ見れば4 Bの生成モデルが新聞記事でトップですが、実装のしやすさはエンコーダー型が有利です。サイズは1/9から1/24で、速度はミリ秒から数秒、出力が壊れることがゼロです。
確かに小さくて速いですね。生成モデルはどれくらい壊れるんですか?
最も小さい生成モデルだと、長い入力に対して27%が不正な出力になります。これは出力の制限を増やしても直らず、モデルの規模を上げることで解決します。
規模を上げれば直るんですか。では、評価の仕方はどう変わったんですか?
正解データがないデータセットだったので、複数のモデルが判定を下すパネルを使って仮の正解を作りました。それを人間の再確認と照合したところ、厳密なF1スコアは0.95でした。
仮の正解を人間の目で確かめたんですね。そこがまだ掴めません。F1が0.95だと、仮の正解はどれくらい正確だったんですか?
人間の正解を基準にすると、エンコーダー型のスコアはさらに上がりますが、生成モデルのスコアは下がります。仮の正解の出し方一つで、モデルの優劣が逆転するということです。
正解の作り方次第で順番が変わるんですか。では、モデルが自分自身でどれくらい正しいと判断するかはどうでしたか?
自信度と正解の一致度を表す指標が0.76から0.86あり、過信度を表す指標では0.24から0.47でした。温度を下げるのは、モデルの声を小さくする調整で、これだけで過信が半分になります。
温度を下げるのは、モデルの声を小さくする調整なんですね。過信が半分になるんですか。
温度を下げる調整で過信は半分に減りますが、信頼度は正解を追っても新奇性までは追いません。閾値設定には控えめな利得があり、小さく大きいモデルを繋ぐ仕組みはコストに応じたランダムな振り分けより、データ次第で控えめに良い結果になります。
最後に、オンデバイスでの実用化はもうすぐですか?
精度と速度のバランスが取れたエンコーダー型はすでに実用に耐えますが、生成モデルの出力が壊れる問題は規模依存なので、どのモデルを選ぶかは用途次第です。まだ解けていないのは、過信を完全に治す方法です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。