Data Worldが、1,037 種の環境から 2,135 課題を合成。Qwen3.6 を 7 点以上引き上げた。
この記事のポイント
- 環境構築やプライバシー制約でスケーリングが困難
- ファイル生成前に世界を指定するマルチエージェントエンジンを作成
- 10モデルでベンチマークは依然困難。Qwen3.6-35B-A3Bから7.06ポイント向上
数字で見る
この記事に出てくる数字
| 学習タスク数 | 2,135 |
|---|---|
| 改善幅(DAComp) | 14.28点 |
どこで使えるか
環境合成の基盤を自前で用意したい人向け。プライバシーや知的財産の制限下でも利用可能 DataWorld-35B-A3Bで公開済み
スポンサーリンク
解説
かみくだいて説明します
Zhanli Li さんらが arXiv に論文を投稿しました。データエージェントの学習に使う環境と課題を、ファイルの背景にある世界を先に設計してから合成するエンジン、Data World を開発したということです。1,037 個の世界から 2,135 個の学習課題を自動で作れます。
世界を先に設計するんですか。手作業の負担が大幅に減りそうですね。既存のデータ集とどう違うんですか。
従来は手作業で環境を整える必要がありましたが、エンジンが仕組みだけで世界を生成します。ファイルから目標の数値を復元できるか独立した監査が確かめ、評価用の基準も同時に作ります。50 個の世界と 16 分野で 100 個の課題を選び、DataWorld-Bench というベンチマークにまとめました。
基準が自動で決まるなら、評価の偏りは減りそうです。作る側から見ると、手元で動かすのに何が要りますか。
基になるのは Qwen3.6-35B-A3B ですが、RL-zero 学習で DataWorld-35B-A3B を構築しました。正解の歩き方を見せずに自分で試行錯誤する訓練ですね。
RL-zero 学習というのは、正解の歩き方を見せずに自分で試行錯誤する訓練ですね。そこが新しいんですか。
そうです。従来のやり方は正解の手順を丸写しする手法が使われていましたが、今回はそれを一切使わずに学習を回しました。10 個の最先端モデルで試したところ、特に洞察を見つける課題で計算量と正解率に開きがあり、ベンチマークはまだ難しい状態が続いています。
計算量と正解率の開きというのは、どれくらい掛かってどれくらい解けるんですか。
具体的な消費電力や所要時間の数値は材料にありません。そこはまだ分かっていません。ただ同じ計算資源を投じた場合でも、正解に辿り着く割合が一貫して低い状態が続いているということです。
自分で考える訓練を積むと、実際にどれくらい点数が上がったんですか。
DataWorld-Bench で 7.06 点、DAComp で 14.28 点、DABstep-Hard で 20.90 点、職業別の広いベンチマークである JobBench で 12.13 点、それぞれベースモデルから改善しました。
10 個のモデルで試した結果、まだ難しい状態が続くというのは確かに驚きです。今後どう改善が見込めるんですか。
このデータ世界を作る仕組みをもっと押し広げれば、様々な分野の課題を作れそうですが、生成した世界が実際のデータとどれだけ近いかはまだ分かっていません。
最後に、実用化のタイミングについて何か分かっていますか。
実用化の日程については材料に記述がありません。そこはまだ分かっていません。
あわせて、先月には自律的にデータを処理・分析するデータエージェントの構築と活用に取り組む別の研究も出ています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。