ロールプレイ AI の訓練シナリオを自動で進化させる AdvRole、強化学習の閉ループ構成

論文

ロールプレイ AI の訓練シナリオを自動で進化させる AdvRole、強化学習の閉ループ構成

スポンサーリンク

AdvRoleがロールプレイの性能を3つのベンチで改善。

この記事のポイント

  • 固定シナリオで学習すると分布が固定される
  • ActorとRewriterを交互に更新する手法
  • 3ベンチでベースラインを上回る

どこで使えるか

ロールプレイAIの弱点を自動で突くシナリオを作り続け、性能を上げ続けたい人向け。 arXivで公開済み 英語・中国語・多言語ベンチマークで評価

動画を見る

スポンサーリンク

解説

かみくだいて説明します

ロールプレイAIって、固定のシナリオでしか学習できないんですか?
確かにその通りです。従来の強化学習では、学習開始前に収集したシナリオプールで固定して訓練する手法が一般的です。
でも、AIが上手くなるにつれて、固定された問題って逆に弱点を放置しそうですよね?
その通りで、エージェントが成長するほど弱点となるシナリオは変化しますが、訓練データが静止したままでは分布のボトルネックが生じます。
arXivに公開されたAdvRoleという手法が、この問題を閉ループのカリキュラム学習で解決します。
そのアプローチって、具体的にはどういう仕組みなんですか?
Actorがロールプレイを習得するのと並行して、Rewriterがキャラクター設定や対話文脈を編集し、Actorにとって苦手なシナリオを生成します。
相手役が自ら難易度を上げてくれるんですか!
ActorとRewriterが交互に更新され、シナリオプールが進化し続けます。
具体的な数値でどれくらい向上したんですか?
要旨には具体的な数値での比較結果は記載されていませんが、3つのロールプレイングベンチマークと新しい多言語ベンチマークにおいて、ベースラインを一貫して上回る性能を示しています。
従来の静的な訓練データとの違いが明確になりましたね!
多言語ベンチマーク3つと新たに公開したマルチリンガル基準でも一貫して上回る実績を上げています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。AdvRoleは英語・中国語の3つのロールプレイングベンチマークと、新たに公開した多言語ベンチマークで、ベースラインを一貫して上回る結果を示しています。
自分で試す場合はどうすればいいんですか?
ベンチマークは英語と中国語に加え、新たに多言語ベンチマークも公開していますので、そちらでも試すことができます。
英語と中国語のベンチマークに加え、新たに公開した多言語ベンチマークでも検証しています。
今後の発展が楽しみですね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文