LLMの周辺コードを精度・安全・コストで最適化する MoMHa、17分野で評価

論文

LLMの周辺コードを精度・安全・コストで最適化する MoMHa、17分野で評価

スポンサーリンク

MoMHaが17分野で精度・安全・コストを同時に最適化し、既存手法を上回る性能を出した

この記事のポイント

  • 精度を唯一の目的とする従来の研究
  • 17領域12モデルで3目的を同時最適化
  • 合成0.482、実世界0.461、安全0.781

数字で見る

この記事に出てくる数字

合成トラック複合平均 0.482
実世界トラックスコア 0.461

どこで使えるか

精度・安全・コストを同時に最適化したい人向け。17分野で最高性能。 コード・評価基盤・ログの公開を明言 12モデル・17領域で評価済み

スポンサーリンク

解説

かみくだいて説明します

LLMの精度向上ばかり注目されますが、モデルを動かす周辺のPythonコードであるハニースの品質最適化って、実は軽視されがちですよね?
確かにその通りです。ハニースはプロンプト構築や呼び出しルーティングを担う設計面であり、精度だけで測れる性質のものではありません。
精度だけを追求すると、どんな危険なリクエストでも拒否しない、あるいはトークンを桁違いに消費するハニースができてしまうんですか?
そうですね。安全基準を満たさなかったり、推論コストが膨大になったりするナイーブな実装は、現場では到底採用できません。
そこでarXivに公開されたMeta-Harnessというシステムが注目されます。Claude Codeをエージェント提案者に起用し、ハニース設計を三次元の探索問題として解決する手法です。
そのアプローチって、具体的にはどういう仕組みなんですか?
精度、行動安全、トークンコストを別々に最適化するのではなく、単一フェーズで同時報酬を最適化するMoMHa戦略を採用しています。12モデルのフリートで評価し、合成・実世界の両トラックで高い性能を示しています。
三次元を一度に最適化するなんて、従来の二段階手法より効率的ですね!
システムは、過去のソースコードや実行トレース、スコアリング結果にフルアクセスできるファイルシステム権限を持つ提案者によって解決されます。
実際のベンチマーク結果で、どれほど改善されたんですか?
合成トラックではジョイント平均0.482を達成し、十のベースラインの0.198から0.422の範囲を上回りました。実世界トラックでは0.461で、最強のベースラインであるDSPyの0.377を上回っています。
実データでも明確な差が出ているんですか?
行動安全の総合スコアはU-SafeBenchで0.781を記録し、二段階手法を比べて一例あたり95トークン削減に成功しています。
でも、ハニース側の最適化に留まるなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。モデルの精度だけでなく、安全な振る舞いやトークン消費量も考慮した設計が重要であり、harnessの品質は多目的に評価されるべきです。
開発者は実際にどうやって試せばいいんですか?
全ハニースコード、評価インフラ、モデル横断ログが公開されますので、公開されるモデル横断ログを使って検証してみてください。
公開されるコードやログを使って、十二モデルの横断ログからハニース戦略の転移可能性を検証してみてください。
精度だけでなく安全とコストを同時に考えられる時代が来ますね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文