AI の判断を委ねて安全を保つ条件、複数レビューアで投票する仕組み

論文

AI の判断を委ねて安全を保つ条件、複数レビューアで投票する仕組み

スポンサーリンク

k-robust coalitional alignmentが安全な条件として必要十分であることを示した

この記事のポイント

  • 長期AIの安全制御に課題
  • 閾値ルールで集団アライメントを定義
  • 実験で非アライメントでも安全を確認

どこで使えるか

長期AIの安全制御を自前で設計する人向け。閾値ルールで集団アライメントを定義 論文の発表のみでコード公開は記載なし 理論中心の実証で、実装は未提供

スポンサーリンク

解説

かみくだいて説明します

Natalie Collinaらの研究チームが、人工知能の自律的な判断を他の人工知能に委ねる際の安全条件を定式化しました。長時間動く人工知能が提案する行動について、拒否が最大で k 回まで許される投票ルールが安全であるための必要十分条件を導き、これを k 回除去耐性のある連合整列と呼んでいます。
拒否が k 回まで許されるというのは、具体的に何回まで反対を認めるかということですね。
k はシステム側が事前に決める許容回数です。例えば投票箱で 2 票の反対まで許す設定にした場合、3 人の審査役のうち 2 人が反対しても行動が実行されるイメージです。研究では、反対した審査役を仮に除外したとしても、残りの審査役の判断を組み合わせることで、全体の安全が保証される構造になっています。
残りの審査役の組み合わせで安全が保証される仕組みのことですね。では、作る側から見ると、この仕組みを実装するには既存のモデルをそのまま使えますか。
実験では既存の審査役モデルをそのまま用いており、個人が完全に整列していなくても集団での審査が機能することを示しています。ただし、審査役の報酬関数の空間を完全にカバーしている場合にのみ、全員一致のルールで安全な均衡が保証されます。許容回数を増やすと、審査役が個人としては整列していても、安全でない均衡が生じる可能性がある点が課題です。
個人が整列していても安全でない均衡が生じる可能性があるのは、審査役が戦略的に投票する場面ですね。では、研究する側から見ると、これまでに何ができていなかったんですか。
従来の手法では、審査役自身が完全に整列していることを前提にしていました。この研究ではその前提を緩め、審査役が自己の利益を基準に投票する状況でも、集団の構造だけで安全を担保できる条件を明らかにしました。割引率を持つ逐次制御の枠組みでも、すべての状態で安全であることが必要十分条件となることを証明しています。
自己の利益を基準に投票する状況でも集団の構造だけで安全が担保されるんですね。では、AI を使う側から見ると、実務で導入する際の最大の壁は何になりますか。
最大の壁は、審査役の報酬関数の空間をどう設計するかです。空間が完全にカバーされていないと、戦略的な投票が生じた際に安全が崩れる可能性があります。そこはまだ分かっていません。
報酬関数の空間の設計が鍵になるんですね。では、逐次制御の枠組みでの安全条件は、実際のシステム開発にどう活かせますか。
逐次制御では、すべての状態で安全であることが必要十分条件となります。これは、システムがどの状態に遷移しても、基準となるポリシーを上回るか同等の性能を維持できることを意味します。開発側は状態ごとの安全検証を徹底すれば、全体としての信頼性を確保できます。
状態ごとの安全検証を徹底すれば全体として信頼性を確保できるんですね。最後に、今後の展開で特に注目される点はどこですか。
k-robust coalitional alignmentという概念が、審査役の報酬関数の空間設計を自動化する方法や安全でない均衡を排除する方法を示すものではなく、各審査役が提案された行動が自身の利得を改善するかどうかを報告する際に、特定の条件下で安全が保証されることを示すものです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文