自然言語の安全ルールを適用するCSF、ロボット動作生成の危険を減らす話

論文

自然言語の安全ルールを適用するCSF、ロボット動作生成の危険を減らす話

スポンサーリンク

CSFがロボット動作の危険イベントを最大90%削減。 benign動作は88-100%保持。

この記事のポイント

  • 同じ動作でも対象で危険が変わる
  • 安全な参照軌道で自然言語ルールを適用
  • 4モデルで危険を大幅に低減、 benignは維持

数字で見る

この記事に出てくる数字

危険率削減 最大90%
良性動作保持 88-100%

どこで使えるか

ロボット動作に安全ルールを組み込みたい人向け。学習不要でモデルを選ばない 論文のシステムとして公開済み Unitree G1で実証済み。学習不要。

スポンサーリンク

解説

かみくだいて説明します

Lizhi Yangらが2026-10-09に発表した研究です。テキストで指示を出すと全身の動きを生成するAIがあり、同じ動作でも場面によって対象が物になったり人になったりする場合の安全対策が課題でした。今回開発したCSFという仕組みは、学習なしで自然言語の安全ルールを適用し、4つの異なる構造の生成AIで危険な動きを最大90%減らし、安全な動きは88%から100%残すことを確認しています。
安全な動きを9割以上残せるというのは大きいですが、場面が変わったときにどうやって判断しているんですか?
アフィン安全値という数値を使って、動きが安全な軌道から外れないように制限をかける仕組みです。この値は、安全な道と危険な道の距離を数値で表したものです。同じ「手を伸ばす」という指示でも、前に机があれば机に届く軌道を安全、前に人がいれば人が避ける軌道を安全と定義するイメージです。
2つの軌道の間に収めるというのは、つまり安全側と危険側の境目をはっきり引くということですね。実際に動くロボットで試したときの効果はどうでしたか?
実機のUnitree G1というロボットで、人とのやり取りや物の周りを通る場面など複数のシナリオで検証しました。その結果、意図的に危険な場面や、場面が変わったことで危険と判定されるケースで、安全ルールが正しく作動し、危険なイベントの発生率を最大90%削減できました。
場面が変わったときの対応が全部成功したというのは安心ですね。では、この仕組みを組み込むのに、既存のAIを最初から作り直す必要はあるんですか?
学習なしで使えるのが特徴なので、すでに訓練が完了した4つの異なる構造の生成AIにそのまま追加できます。組み込むだけで、場面ごとの安全ルールを適用できるため、開発の手間を大幅に省ける設計になっています。
既存のモデルに追加できるのは技術者にとって大きなメリットですね。ただ、安全と判定される基準の軌道は、どうやって決めているんですか?
安全な軌道と危険な軌道は、生成AI自身が事前に作る参考データを使います。AIが出力する動きの中から、ルールに沿った動きを安全、ルールに反する動きを危険として抽出し、その2つを基準点にして制限の範囲を決めています。
AI自身が作った動きを基準にするというのは、つまり自分で自分の安全ラインを引くということですね。そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
分かりやすく言うと、AIが動く前に頭の中でシミュレーションを2回行います。1回目は安全に動ける道を考え、2回目は危険になる道を考えます。実際に動くときは、この2つの道の真ん中あたりを走るように指示を出すため、外れにくい仕組みです。
頭の中で安全な道と危険な道を比べて、真ん中を通るように指示を出すんですね。最後に、この仕組みが適用される見込みはいつ頃ですか?
4つの生成AIとUnitree G1で検証し、安全な動作を88から100パーセント保持しつつ危険な動作を最大90パーセント削減できたことを確認しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文