CreateScoreが、CV 選考でトークン使用量を 65.2% 削減し、8B と 120B を使い分けた
この記事のポイント
- 8Bモデルの誤りを不確実性信号で見分けることができなかった
- CV証拠をベイジアンネットワークで処理し、8Bと120Bのモデルをルーティングした
- トークン使用量が減り合意度も上がったが、誤り検出にはならなかった
数字で見る
この記事に出てくる数字
| ローカルモデル | 8B |
|---|---|
| 参照モデル | 120B |
| トークン削減率 | 65.2% |
どこで使えるか
トークンコストを抑えて推論コストを下げたい人向け。誤り検出には使えない 論文のプレプリントとして公開済み コードの公開は記載なし。評価は合成データ限定
スポンサーリンク
解説
かみくだいて説明します
Rupsa Roy さんが arXiv に発表した CreateScore というシステムは、履歴書 screening に使う AI の通信量を減らす手法です。能力が高い 120B という大きなモデルと、小さい 8B というモデルを組み合わせ、迷いがない判断は小さい方で処理し、迷いがある場合だけ大きい方に任せる仕組みになっています。
迷いがあるかないかでモデルを分けるとは。では、その迷いをどうやって測るんですか?
履歴書から得られた情報をグラフに流し込んで、事後確率の不確かさという数値を出します。専門的にはディリクレ多項分布の条件付き確率テーブルを使いますが、要するに各項目について小さいモデルがどれくらい自信を持てるかを計算しているだけです。
小さいモデルが自信を持てないときにだけ大きいモデルに聞くわけですね。では、その切り替えの基準はどのように決めているんですか?
訓練データで 70% の判断を小さいモデルで処理できるように閾値を合わせて、その後は固定しています。実際に 200 枚の合成データサイエンス系の履歴書で試したところ、5 つの項目について 305 回判断したうち 237 回、つまり 77.7% を小さいモデルだけで処理できました。
確かにコスト削減にはなりそうです。では、通信量はどれくらい減ったんですか?
大きいモデルだけで全部判断した場合と比べると、トークン使用量が 65.2% 減りました。判定の一致率も、小さいモデルだけを使った 32.8% から 42.6% に上がっていますが、95% CI が 31.0 から 55.1% であり、統計的には n が 61 人で差が出ているとは言い切れない段階です。
小さいモデルが間違えた判断をしたとき、大きいモデルに任せる仕組みはちゃんと機能しているんですか?
残念ながらそこは期待通りに動いていません。大きいモデルに任せた判断の 16.2% が実は小さいモデルの間違いだった一方、小さいモデルだけで処理した判断の 19.4% も間違いでした。AUROC 0.47、95% CI が 0.39 から 0.56 であり、不確かさの信号は間違いを見つける役に立たず、当たり外れと変わらない結果でした。
不確かさの指標が外れたとは意外です。では、その理由はまだ分かっているんですか?
そこはまだ分かっていません。システム自体は判断の記録を残せるコスト削減の仕組みとして位置づけていますが、間違いを特定する装置としてはまだ使えない段階です。
最後に、実務でこの手法を使う場合、何がまだ解けていないんですか?
今回使ったのは 200 枚の合成データなので、実際の履歴書への適用結果や、モデルの切り替えが人事の判断品質にどう影響するかはこれから検証が必要です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。