AIが学習データを自分で選んで評価する DataSense-Bench、データセンスの測定

論文

AIが学習データを自分で選んで評価する DataSense-Bench、データセンスの測定

スポンサーリンク

DataSense-Bench で AI が学習データを選んだが、ランダムより優れているとは限らない

この記事のポイント

  • AIがデータ選別で信頼できるか不明だった
  • DataSense-BenchでLLMのデータ選別能力を測定
  • ランダムと大差なし。タスク間で結果が安定しない

どこで使えるか

AIのデータ選別能力を試す人向け。結果がタスクで安定しない arxivで公開済み 評価はTBLiteとBFCLのみ

スポンサーリンク

解説

かみくだいて説明します

Yudi Zhangららが、2026-10-09にarXivへ論文を公開しました。最先端のAIモデルが機械学習の訓練に使うデータを選別できるかどうかを調べる「DataSense-Bench」という評価基準を初めて作りました。
最先端のAIがデータ選びをするんですか?これまでの研究と比べて、どこが新しいんですか?
データ選びの基準を問うベンチマークを新たに導入しました。AIエージェントに訓練データ候補を確認させて順位を付ける任務を与えます。ただしモデルを訓練する権限はなく、データを見たり分析コードを書いたり、モデルの順伝播と呼ばれる処理だけを走らせることができます。
順伝播って具体的に何をやるんですか?そこがまだ掴めません。
分かりやすく言うと、問題を出して答えを予想させる練習回しです。実際に答え合わせをしたり正解を教えたりはせず、予想するところまでをAIに任せています。
予想だけさせて、あとは人が答え合わせをするんですね。では、実際に試した結果はどうでしたか?
結果は期待ほどではありませんでした。ランダムに選んだ場合と比べて、AIが選んだデータの性能向上は限定的です。さらに上位に選んだデータの順位付けも安定せず、タスクによって結果が変わります。
順位付けがタスクによって変わるなんて、実際に使おうとするとかなり難しいですね。
3つのツール使用タスクではAstraというモデルがすべて最適なグループを特定しましたが、3つのターミナル操作タスクでは1つだけでした。実行記録を見ると、AIたちは似たようなデータの特徴を見ていますが、それを訓練に役立つと解釈する基準がそれぞれ違うためです。
似た特徴を見ていても、場面によって判断が全然違うんですね。
正確にはそうです。データの特徴を拾う能力はありますが、それをどう訓練価値に結びつけるかはモデルごとに分かれているのが現状です。
最後に、これからAIがデータを自動で選べるようになるには、何が課題になりますか。
現状では特定のタスクに特化した判断しかできていないため、幅広い分野で安定して使えるようにするには、AIがデータを評価する基準をどう統一するかが鍵になります。そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文