Qwen3.5-9Bで9段階の事実性を推定するUO-FIE、ファクトicity評価で1位を獲得した話

論文

Qwen3.5-9Bで9段階の事実性を推定するUO-FIE、ファクトicity評価で1位を獲得した話

スポンサーリンク

Qwen3.5-9BのUO-FIEがファクトicity評価で1位。マクロユーティリティ0.8316。

この記事のポイント

  • 単一クラス偏重で正確な推論が困難
  • 9クラス分布予測と多目的損失で最適化
  • Qwen3.5-9Bで1位。ただし非微調整は3位

数字で見る

この記事に出てくる数字

訓練データ数 566
クラス比率 64.1%
マクロ利用率 0.8316

どこで使えるか

ファクトicity評価で上位を狙う人向け。9クラス分布予測と多目的損失で最適化。 arXivで公開済み

スポンサーリンク

解説

かみくだいて説明します

中国語の文脈と仮説の真偽を9段階で判断するFIE2026タスク、難しくないですよね?
確かにです。正解に近い段階を当てるだけでも評価される複雑なルールになっています。
既存のモデルだと、学習データの64.1%が単一クラスに偏っているから、結局そのクラスだけ予測しちゃうんですか?
その通りで、ナイーブなGPU実装や単純な分類モデルだと過学習が避けられず、評価指標の意図が活かせません。
arXivに発表されたUO-FIEという手法が、パラメータ効率的なシステムとしてその壁を突破します。
そのアプローチって、具体的にはどういう仕組みなんですか?
Qwen3.5-9BにLoRAを適用し、9クラス全体の分布を予測します。ハードラベルの教師信号に加えて、正解区間への近さを報酬とするユーティリティソフトターゲットと順序損失を組み合わせるのです。
分布予測で段階的な正解を許容するんですね!
実際の性能差はどうなったんですか?
微調整トラックでマクロユーティリティ0.8316を獲得し、1位に輝きました。非微調整トラックのアンサンブルも0.8450で3位です。
正解率だけでなく近傍予測も評価される指標でトップなんです!
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かにです。566例という小規模データセット限定で、他の言語や異なる文脈構造への汎用性は未検証です。
実際の試し方はどうすればいいんですか?
公開コードをクローンし、Qwen3.5-9BとLoRA環境を構築すれば再現できます。外れ値検出用のオフフォルド予測で順序キャリブレーションを適用してみてね。
Qwen3.5-9BにLoRAで微調整したUO-FIEがファインチューニングトラックで一位でした。
ファインチューニングトラックで一位の成果です。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文