Emo-Jevは訓練不要で感情分類を行い、標準 Jev は LLM の 67.28% に対し 62.93% を達成。
この記事のポイント
- Jevがテキスト分類でLLMに追いつけるか不明だった
- 感情分類に原子判断と複数パスの2方式を提案
- 平均F1 62.93%で最強LLMの67.28%に届かず
数字で見る
この記事に出てくる数字
| 平均macro-F1 | 62.93% |
|---|---|
| LLMベースライン | 67.28% |
| 評価データセット | 8 |
どこで使えるか
感情分類を確率的推論で試したい人向け。LLMより低コストだが精度は劣る 論文発表のみ、コード公開は記載なし 学習不要フレームワーク、8データセットで評価
スポンサーリンク
解説
かみくだいて説明します
Yazhou ZhangさんとJunhao YuさんがarXivに発表したEmo-Jevは、感情の分類を確率で判断する新しい仕組みです。感情分析や皮肉の検出など8つのデータセットで、最も強いAIモデルの67.28%に対し、62.93%という成績を記録しました。
訓練なしでその数字が出たんですか?
はい。従来のAIが自由に文章を返すのに対し、Jevはあらかじめ決めた質問に確率で答える仕組みです。例えば「この文章は怒っているか」という質問に、確率で返すイメージです。
決まった質問に確率で答えるんですね。では、複数の角度から判断する仕組みはどう変わるんですか?
2つの方法を用意しています。1つは感情分類を小さな判断に分解して、それぞれの確率を足し合わせて最終的な答えを出すEmo-Jev-Dです。もう1つは複数の判断経路を並行で作って、多数決のように合意を取りまとめるEmo-Jev-SCです。
複数の経路を並行で作るなら、処理時間はどうなるんですか?
最も強いAIモデルと比較すると、Jevを使った場合の方が応答までの時間が短く、コストも一般的に低くなっています。ただ、処理時間の具体的な秒数やコストの差については、そこはまだ分かっていません。
ところで、比較対象にチェイン・オブ・ソートという推論方法が含まれていますが、そこがまだ掴めません。
確かに難しい言葉ですね。これはAIが答えを出す前に、段階的に考えを並べる作業です。例えば算数の文章題を解くとき、まず条件を整理してから計算するのと似ています。Jevは段階を踏まずに直接確率を出すので、この方法との差を測ったわけです。
段階を踏まずに直接出す方が速いんですね。では、実務で感情分類を使う側から見ると、この仕組みのどこが便利だと考えられますか?
訓練の手間が要らないので、新しいタスクが来たときでもすぐに試すことができます。コストが抑えられる点も実務では大きく、大量のテキストを素早く分類する場面では選択肢になり得ます。
では、この仕組みの応用について教えてください。
感情分析や皮肉の検出など4つの分野で検証していますが、他の分野への適用についてはまだ報告されていません。
最後に、今後の展開について教えてください。
Jevは62.93%の平均マクロF1を達成し、最も強力なLLMベースラインの67.28%に迫る結果を示しました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。