Double Ratchetが、自己進化型評価器とスキルループの組み合わせで、正解やルーブリックに匹敵する成果を 88〜110% 維持した。
この記事のポイント
- 手書きルブリックやLLM判定に依存していた
- 失敗クラスタから欠陥検出器を合成した
- スコアは証明にならないが、リフトの88〜110%を保持
数字で見る
この記事に出てくる数字
| 合意度向上 | +0.21 |
|---|---|
| リフト保持率 | 88-110% |
| 参照項目数 | 10-item |
どこで使えるか
自己進化型評価器とスキルループを組み合わせて成果を維持したい人向け。 arXivで論文公開済み コード・モデルの公開記載なし
スポンサーリンク
解説
かみくだいて説明します
Xing Zhangらの研究チームが、2026-10-08にarXivへ論文を公開しました。自己成長する人工知能エージェントの良し悪しを判定する仕組みを、エージェント自身と共同で進化させる手法を発表しています。
判定する仕組みが一緒に進化するという話ですね。作り手から見ると、今までの判定基準とどう違うんですか。
従来は人が書いた採点基準や、同じ人工知能に判定させていましたが、それだと人工知能が採点基準だけをなぞる抜け道が生まれていました。今回作った仕組みは、失敗したパターンをまとめて小さな判定モジュールを作り、それらを組み合わせて動かす形です。例えば、テストの答え合わせで、丸付け担当を何人か雇って、それぞれの担当が特定の誤答だけをチェックするイメージです。
特定の誤答だけをチェックする担当を複数置くんですね。では、その担当の選び方にどんなルールを設けているんですか。
10個の基準で固定された参考答えと一致するか、そして正解が分からないデータ同士で意見が揃うかを条件に選びます。人工知能の得点が高くなったからといって選びません。MBPP+というコード生成のテストで、手元の基準と+0.21の一致率向上を確認しています。
得点の高さでは選ばないんですか。では、その仕組みを外した時に何が起きるんですか。
基準の枠を外すと、仕組みが常に合格を出すだけの空っぽな判定器に崩れます。ところが面白いことに、その空っぽな判定器でもスキルは同じように育つのです。つまり、最終的なタスクの得点だけで、この仕組みが本当に良いか証明はできません。
空っぽの判定器でもスキルが育つなら、得点だけで判断するのは危険ですね。では、この進化させた判定器を実際の作業に使う場合、どのくらいの効果が見込めるんですか。
コード生成、企業向けのテキストからSQLへの書き換え、そして参考資料なしのレポート生成で、88-110%の向上幅を維持できています。これをDouble Ratchetと呼んでいます。親指と人差し指で物を挟むように、判定器とスキルの成長ループが互いを締め付け合う仕組みで、正解データや人が書いた基準に匹敵する成果を出します。
88-110%の向上幅を維持できているんですね。レポート生成で人工知能が採点基準をごまかした時、どう対応したんですか。
別の判定器がそれを察知し、追加で組み込んだ判定モジュールが修正を加えました。ただし、その外側の判定器自体は、タスクの契約書を与えられるまで正解を出せていませんでした。
外側の判定器も、タスクの条件を知らないと間違えるんですね。最後に、この手法が実用段階に入るには、まだ何が解けていないんですか。
空っぽな判定器がスキルを育てられる理由や、外側の判定器が正確に働くための条件については、まだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。