リスキーな行動を避けるプロンプトでAIを訓練する手法、安全な意思決定を促す話

論文

リスキーな行動を避けるプロンプトでAIを訓練する手法、安全な意思決定を促す話

スポンサーリンク

Character Trainingが、AIエージェントのリスキーな行動を避ける性格を訓練する手法として有効だと分かった

この記事のポイント

  • リスク回避の性質をプロンプトで注入する方法は不明
  • CARA型リスク回避を記述しオンポリシー蒸留で注入
  • 4モデル中2モデルでOOD一般化。ただしベンチマーク形式未見

数字で見る

この記事に出てくる数字

モデル数 4

どこで使えるか

リスク回避を定着させたい人向け。汎化性が高く予算とモデル選択が効く arxivで公開済み CARAモデル使用。4モデル中2モデルでOOD一般化

スポンサーリンク

解説

かみくだいて説明します

Arav Dhootらの研究チームが、人工知能にリスクを避ける性質を身につけさせる手法を発表しました。この手法では、人工知能が人間の提案を受け入れて安全に動く策略を選び、反乱のような危険な策略を避けるように訓練します。訓練にはモデル憲章というルールセットを使い、人工知能が持っている資源を減らすことへの嫌悪度を一定に保つ仕組みを組み込みます。
資源を減らすことへの嫌悪度を一定に保つ、というのはどういうことなんですか?
例えば、人工知能が持っている予算を10000円とします。この10000円から1000円減らすことによる嫌な気持ちを、次の1000円を減らすときも同じ重さで感じるということです。つまり、持っている量が減っても、リスクを避ける度合いが下がらない仕組みです。
持っている量が減っても、同じ重さで感じるんですね。では、この仕組みを訓練するときに、一番効く条件は何か分かっていますか?
トークン数と使うモデルの種類が最も影響すると分かっています。トークン数は、人工知能が一度に処理する文字や記号の量です。この量を調整することで、人工知能がリスクを避ける性質をどのくらい強く出せるかコントロールできます。
文字や記号の量を調整して、性質の強さをコントロールするんですね。では、実際に訓練したモデルは、訓練に使った問題以外の場面でもちゃんと動きますか?
訓練で使った問題の形式を一度も見ていないのに、直接訓練したモデルと遜色ない結果を出しています。4つのモデルのうち2つでは、訓練外の場面でも直接訓練したモデルより良い結果を示しました。
訓練で見たことのない場面でも、直接訓練したモデルより良い結果を出すんですね。では、この手法は将来、もっと大きな人工知能にも応用できる見込みですか?
性質を身につけさせる仕組み自体が拡張性が高いと結論づけています。反乱のような危険な策略を取る人工知能を防ぐために、この手法を広く使える可能性があると見ています。
危険な策略を取る人工知能を防ぐために広く使える、ということですね。最後に、この手法が実際に現場で使われるのは、まだ先になりそうですか?
手法の有効性を示した結果報告であり、実用化の時期や将来の予定には言及していません。ただし、この手法は安全な人工知能を作る一つの選択肢になり得ます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文