OSWorld-Scienceが、最先端モデルでも科学ソフトの操作で限界があることを示した
この記事のポイント
- 科学ソフトウェアのVLMエージェント評価が難しかった
- 146タスク12モデルで科学ドメインを評価
- SOTAでも課題あり。多言語・推論・文脈長で分析
数字で見る
この記事に出てくる数字
| VLM数 | 12 |
|---|---|
| タスク数 | 146 |
どこで使えるか
科学ソフトの操作を自動化したい人向け。モデルの限界を把握して改善に役立てる 論文に記載なし ベンチマークの公開は記載なし
動画を見る
スポンサーリンク
解説
かみくだいて説明します
2026-10-01に、Dingyuan Daiらの研究チームが、科学分野のソフトウェアを操作するAIの能力を測る新しい評価基準、OSWorld-Scienceを発表しました。この基準では、分子の構造を描く作業から病理画像の解析、統計計算、物理シミュレーションまで、146の課題を使って12種類のVLMモデルを評価しています。
なるほど、科学者の仕事に特化したテストですね。開発している技術者から見ると、こういう専門的なタスクをこなすAIは、すでに実務で使える段階に来ているんですか。
結論から言うと、まだ課題が残るというのが今回の結果です。最新のVLMモデルに高度な制御装置を組み合わせても、科学の重要な問いに正確に答えられない場面が多く見られました。評価の仕組みは、描画された分子構造やグラフ、数値結果を直接確認して、部分的に正解なら点数を付ける方式になっています。
部分的に正解でも点数が入る仕組みなんですね。では、研究している人にとって、このテストで特に注目すべき違いはどこにありますか。
言語能力やコンテキスト長、使うソフトウェアの設定を変えたときに、どの条件が性能に大きく響くかが明確になった点です。コンテキスト長というのは、AIが一度に読み取れる指示文の量のことです。図書館で一度に借りられる冊数に似ています。一度に多くの資料を渡しても、全部を正確に処理できるとは限らないのと同じです。人間の作業手順をAIに一つずつ指示する代わりに、全体の流れをまとめて渡す方式では、途中で手順がずれる確率が上がります。この基準では、そうした失敗のパターンを記録して、次に改良する方向性を示すことができます。
全体の流れをまとめて渡すと手順がずれるんですね。では、AIを組み込む側の技術者がこの基準をどう活かせるか、詳しく教えてください。
制御装置の設計や、モデルとソフトウェアのつなぎ込み方を比べるのに使えます。記録された操作履歴から、どの段階でエラーが出たかを探し、次にどの部分の精度を上げればよいかを判断できます。現在のところ、この基準で公開されているデータは、開発者が自由に使えるようになっています。
開発者が自由に使えるデータなんですね。では、モデルのつなぎ込み方を比べるとき、具体的にどの部分を見るんですか。
操作の記録から、どの手順でエラーが出たかを探します。次にどの部分の精度を上げればよいかを判断できる仕組みです。
精度を上げるべき部分を記録から特定できるんですね。では、実際の開発現場にこの基準が導入されるとしたら、どのような変化が予想されますか。
科学的な成果物への評価が確立され、将来の開発を支える重要な結論や方向性が導けます。
試行錯誤を減らして効率的に改善できるんですね。最後に、この評価基準の今後の展開について、何がまだ見えていないかを教えてください。
科学分野ごとの基準や実環境への組み込みには、まだ課題があることが分かりました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。