LIDARが、コードで動く AI の正体を 36 モデルで高精度に識別した
この記事のポイント
- エージェント指紋の転移が限定的だった
- LIDARで実行軌道を識別した
- エージェント動作がモデル同定に有効
数字で見る
この記事に出てくる数字
| モデル数 | 36 |
|---|---|
| ファミリ数 | 7 |
| プローブペア数 | 3 |
どこで使えるか
コードで動くAIの正体を特定したい人向け。モデルの内部情報なしで識別可能 arXivで論文公開済み モデル識別手法。コード公開の記載なし
スポンサーリンク
解説
かみくだいて説明します
最近コーディングエージェントがリポジトリを直接書き換える場面が増えていますよね?
確かにその通りです。モデルを差し替えるだけでセキュリティ判断が変わるため、裏側のLLMを特定する技術が急務となっています。
出力テキストやトークン分布を見れば識別できるんじゃないんですか?
従来手法はそこを推測しますが、エージェント環境のシステム指示やツール呼び出しが信号を歪めるため、現実的には転写が難しくなっています。
arXivで公開されたLIDARは、ランタイム中の意思決定からモデルを特定するアクティブなブラックボックス手法です。
そのアプローチって、具体的にはどういう仕組みなんですか?
編集後の検証、一時的な失敗からの回復、仕様とテストの衝突解決という3つのプローブペアで意図的にトラップを仕掛け、軌跡を捉えます。
運転免許の隠しテストみたいなものですね!モデル重みやロジットなしで識別できるのが素晴らしいです!
その通りで、インスタンスレベルと分布レベルの特徴量を比較し、外部への依存なしに識別します。
実際の識別精度はどのくらい改善するんですか?
7ファミリー36モデル、2つのエージェントハルネスで評価し、Top-1精度とMRRで高い数値を達成しました。
既存の手法と比べるとどれくらい差が出るんですか?
4つの既存フィンガープリント手法やAPI監査ベースラインを明確に上回り、エージェント実行行動が最終出力以上の識別証拠になることを実証しています。
でも、プローブを仕掛けるだけで、結局根本的な解決にはなっていないんじゃないですか?
プローブの制御下でモデルの振る舞いを観測し、最終出力だけでなく実行経路そのものからモデルの正体を特定する手法です。
開発現場で実際に試すにはどうすればいいんですか?
モデルの重みや内部情報にアクセスせず、実行中の行動を分析して識別します。
36モデル7ファミリー2エージェントハルネスで高精度を達成し、既存手法を凌駕する行動の指紋法です。
裏側のモデルが誰なのか一目でわかる時代が来ますね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。