RobotEQ-Videoが公開。動画の社会的適切さを測る基準と2000本以上の動画セットを手に入るようにした。
この記事のポイント
- 静止画中心で多様性を担保できず
- 動画中心のベンチを構築
- 現状は人間に及ばず
数字で見る
この記事に出てくる数字
| レベル1属性数 | 142 |
|---|---|
| レベル2属性数 | 816 |
| 動画数 | 2K+ |
どこで使えるか
動画で先回りの支援の社会的な適切さを測りたい人向け。今の仕組みは人の水準に届かない arXivで論文公開済み ベンチマーク用動画2K+、注釈100K+
スポンサーリンク
解説
かみくだいて説明します
最近、ロボットやAIが人間の状況を察して先回りして動く技術が増えていますよね?
確かに、タスクを完了させるだけではない、社会的に適切なタイミングで手を差し伸べるSPIという領域が注目されています。ただ、まだ研究段階で実用にはほど遠いのが現状です。
でも、既存の研究って結局静止画で判断していることが多いんじゃないですか?
その通りで、動画が持つ時間の流れや表情の変化といった重要な手がかりを無視しています。さらにデータ収集も自由形式に任せているため、多様なシナリオを網羅できていないのが大きな壁です。
そこでarXivに公開されたRobotEQ-Videoが、静止画から動画中心の分析へシフトした新しいベンチマークです。
そのアプローチって、具体的にはどういう仕組みなんですか?
世界の状態を4段階の粗い粒度から細かい粒度へと階層化し、6つのドメイン、20の次元、142のレベル1属性、816のレベル2属性で構造化しています。動画のフレームをこの分類木に落とし込むことで、AIが人間の感情やニーズを多角的に評価できるよう設計されています。
階層を深くするほど細かく判定できるんですね!
実際の評価結果で、どれくらい正確に判定できているんですか?
2K本以上の動画に100K以上の人間アノテーション、16K以上のラベルを付与して検証していますが、現在のシステムは人間の性能に大きく達しておらず、まだ信頼性に欠ける結果が出ています。
既存のモデルと比べて、どのくらい差があるんですか?
要旨には「現在のシステムは信頼できず、人間の性能に達していない」とあります。つまり、既存のモデルとの差は明確で、人間の性能に届いていないという結果です。
でも、ベンチマークや分類体系を整備しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに、現在のシステムは人間の性能に達しておらず、依然として信頼性に欠けるという評価結果が出ています。
私たちが自分で試す場合は、どうすればいいんですか?
モデルの性能を評価するベンチマークとして、2000本以上の動画と10万件以上の注釈を用いて、現在のシステムが人間の性能に達していないことを示しています。
世界モデルがタスク解決にどう役立つかを探った結果、現在のモデルは人間の性能に達していないことが明らかになりました。
人間の社会性を理解するAIが、もっと身近になる日が来るんですね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。