AIの検証能力を自動で高めるHarnessを、12のタスクで進化的に改善した話

論文

AIの検証能力を自動で高めるHarnessを、12のタスクで進化的に改善した話

スポンサーリンク

自動進化がHarnessの改良を12タスクで進めたが、成果の統合は限定的だった

この記事のポイント

  • LLMがハーネスを改善できるか不明
  • 12課題で自動進化を5回試行
  • 補完的特化は得るが統合は困難

数字で見る

この記事に出てくる数字

完了試行増加率 71-76%
タスクカバレッジ増加 80-100%
正解試行増加率 18-24%

どこで使えるか

自動進化で補完的特化を得るが統合は困難な場合向け。成果の維持が難しい課題に使う arXivで公開済み 12タスクの検証結果。単一モデルへの適用に注意

スポンサーリンク

解説

かみくだいて説明します

最近、AIが自分の検証ツールを勝手に改良する話がありますが、結局のところLLMが自分で作った道具をちゃんと使いこなせるんですか?
確かにその点は現場でもよく話題になりますね。言語モデルの性能は、それを動かす周辺の検証フレームワークやプロンプト設計、いわゆるハーンネスに大きく依存します。
でも、従来の手法だとハーンネスの改良って結局人手に頼りがちですよね?
はい。LLMの自動進化では、タスクごとに補完的な特性が現れますが、すべてのタスクで優位な単一のハーンネスに収束しないのが実態です。
そこでarXivに公開された研究では、固定されたLLMを対象モデルとしたまま、周辺のハーンネスだけを自動進化させる手法が提案されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
自動でハーンネスを進化させ、検証タスクの成績で選別を繰り返します。過去の優秀な候補を蓄積し、新しい候補と比較する選別ロジックを組み込んだ点が特徴です。
過去の成功パターンを記憶させて、次世代に継承する感じなんですね!
自動で改良した結果、実際にどれくらい性能が向上したんですか?
12の設計検証タスクで5回ずつ試行した結果、完了試行数は71から76パーセント増加し、いずれかの正解にヒットするカバレッジも80から100パーセント向上しました。ただし、完全正解の試行は18から24パーセントの改善にとどまりました。
試行回数は大幅に増えるけど、正解率はそれほど伸びないんですか?
そうですね。142タスクの参照ベースラインと比較した独立したケーススタディでも、機能パス数は35.6パーセント増えましたが、検証スコアラーはLLMに直接見せていないため、暗黙の最適化に留まる側面があります。
でも、特定のタスクだけ得意になるなら、結局根本的な解決にはなっていないんじゃないですか?
その指摘は鋭いですね。優秀な振る舞いが異なる候補に分散し、一つのハーンネスに統合されなかったのが実際の結果です。補完的な専門化は生まれますが、横断的な支配力を持つ万能型にはなっていないのが現状です。
実際の開発現場で試すときは、どうやって導入すればいいんですか?
アーカイブを活用した進化検索では、検証結果に基づいて補完的な特化を持つ候補を選別することが重要です。
進化検索とアーカイブ選別を組み合わせる方向性は、補完的な特化を持つ候補を選別する上で有効です。
補完的な特化が得られるなら、アーカイブを意識した選別が支持されます。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文