Qwen3.5-9BのUO-FIEがファクトicity評価で1位。マクロユーティリティ0.8316。
この記事のポイント
- 単一クラス偏重で正確な推論が困難
- 9クラス分布予測と多目的損失で最適化
- Qwen3.5-9Bで1位。ただし非微調整は3位
数字で見る
この記事に出てくる数字
| 訓練データ数 | 566 |
|---|---|
| クラス比率 | 64.1% |
| マクロ利用率 | 0.8316 |
どこで使えるか
ファクトicity評価で上位を狙う人向け。9クラス分布予測と多目的損失で最適化。 arXivで公開済み
スポンサーリンク
解説
かみくだいて説明します
中国語の文脈と仮説の真偽を9段階で判断するFIE2026タスク、難しくないですよね?
確かにです。正解に近い段階を当てるだけでも評価される複雑なルールになっています。
既存のモデルだと、学習データの64.1%が単一クラスに偏っているから、結局そのクラスだけ予測しちゃうんですか?
その通りで、ナイーブなGPU実装や単純な分類モデルだと過学習が避けられず、評価指標の意図が活かせません。
arXivに発表されたUO-FIEという手法が、パラメータ効率的なシステムとしてその壁を突破します。
そのアプローチって、具体的にはどういう仕組みなんですか?
Qwen3.5-9BにLoRAを適用し、9クラス全体の分布を予測します。ハードラベルの教師信号に加えて、正解区間への近さを報酬とするユーティリティソフトターゲットと順序損失を組み合わせるのです。
分布予測で段階的な正解を許容するんですね!
実際の性能差はどうなったんですか?
微調整トラックでマクロユーティリティ0.8316を獲得し、1位に輝きました。非微調整トラックのアンサンブルも0.8450で3位です。
正解率だけでなく近傍予測も評価される指標でトップなんです!
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かにです。566例という小規模データセット限定で、他の言語や異なる文脈構造への汎用性は未検証です。
実際の試し方はどうすればいいんですか?
公開コードをクローンし、Qwen3.5-9BとLoRA環境を構築すれば再現できます。外れ値検出用のオフフォルド予測で順序キャリブレーションを適用してみてね。
Qwen3.5-9BにLoRAで微調整したUO-FIEがファインチューニングトラックで一位でした。
ファインチューニングトラックで一位の成果です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。