LabInstructが8モデルを評価。視覚的に plausible でも手順が間違っているケースが多かった
この記事のポイント
- AI生成の計画をロボットが直接実行できるか不明確
- 204タスク5分野で8モデル族を評価
- 視覚的妥当性と手順正しさの間に大きな隔たり
数字で見る
この記事に出てくる数字
| タスク数 | 204 |
|---|---|
| 学問分野 | 5 |
| 評価モデル | 8 |
どこで使えるか
実験手順の動画生成を検証したい人向け。視覚と手順の隔たりを把握できる arXivで論文公開済み ベンチマークデータは論文付属
スポンサーリンク
解説
かみくだいて説明します
Yuming Fu さんたちの研究チームが、LabInstruct というベンチマークを発表しました。人工知能が実験の指示を動画で生成する能力を、204 のタスクと 5 つの学問分野で測った結果、8 つの最先端モデルで評価したところ、見た目こそ自然なのに手順が間違っているケースが少なくないことが分かっています。
見た目と手順がずれるんですか。実験の指示動画を作る研究から見ると、どこがまだ解けていないんですか。
実験の手順は器具の配置や手の動き、状態の変化が次々と起こるため、動画で伝えるのが一番分かりやすいです。ただ、今のモデルは画像と文章から動画を生成できますが、手順の正確さよりも映像の美しさを優先してしまいやすいです。レシピ動画で具材の切り方が美しくても順番が逆だと料理にならないのと同じで、実験器具の配置や操作の順序がずれると、実際に手を動かす人が間違った手順を踏んでしまう恐れがあります。
映像の美しさが優先されて、手順が二の次になってしまうわけですね。では、このシステムを実際に組み込む技術者から見ると、手元で動かすのに何が要るんですか。
正確な手順を伝えるには、器具の名前や手の接触位置、状態がどう変わるかを構造的に注釈付きで学習させる必要があります。今回のベンチマークでは、実際の参考実行映像と、そうした注釈を合わせて 204 のタスクを準備しています。モデルがこれらの注釈を正しく理解できているかを、5 つの分野で客観的に測れる仕組みになっています。
注釈を合わせて測るんですね。でも、見た目だけ自然なら安心して使いたくなる人もいるかもしれません。手順が間違っている場合、どのくらいの割合で起こるんですか。
具体的な割合については、そこはまだ分かっていません。視覚的に自然に生成された動画が、手順の点では頻繁に正しくないことが確認されているだけです。見た目では問題なさそうでも、実験の手順としては信頼できない状態が依然として残っているということです。
では、次にどう進みますか。
完全な自動化が難しい複雑な実験環境では、人工知能が立てた計画と実際の作業の間に、人間が重要な実行の窓口として残ります。正確な指示動画が作れるようになれば、その窓口での作業負荷を大幅に減らせる可能性があります。ただ、どの分野のどの実験手順まで対応できるかは、まだ開発段階です。
人間が窓口として残るんですね。人工知能を使う側から見ると、今使っている道具のどこが変わりますか。
指示を動画で受け取る形になれば、テキストや図面だけだったときよりも、器具の配置や操作のタイミングを頭の中で追いやすくなります。ただ、モデルが生成する動画の手順信頼性がまだ不安定なため、現時点では人間の判断を完全に置き換える段階には至っていません。
最後に、実用化まであと何が足りないんですか。
8つの最先端モデルを評価した結果、視覚的に妥当な生成物でも手順が誤っていることが多く、視覚的リアリズムと実験指示に必要な信頼性の間に大きなギャップがあることが明らかになりました。
あわせて、今月には画像とテキスト指示から手順動画を作る別の研究も出ています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。