投資銀行の資料作成に使う27Bモデル付きエージェント、LLM判定で改善を測る話

論文

投資銀行の資料作成に使う27Bモデル付きエージェント、LLM判定で改善を測る話

スポンサーリンク

LLM判定で改善が測られた投資銀行向けエージェント、判定の揺らぎが小さい変化を区別しにくい

この記事のポイント

  • LLM判定が品質か採点基準か不明
  • 27Bモデル+金融計算+テンプレートを構築
  • 95点中20.4〜33.6点。ただし変動大

数字で見る

この記事に出てくる数字

モデル規模 27B
開発成果物 17

どこで使えるか

投資銀行の資料作成を支援する人向け。判定の揺らぎに注意 論文の記載のみで入手不可 27Bモデルの重みは非公開。システム構成は記載あり

スポンサーリンク

解説

かみくだいて説明します

Ludovic Gibertらの研究チームが、企業向け投資銀行の決算資料作りに使うAIツールの開発評価について、2026-10-01にarXivへ論文を公開しました。27Bの言語モデルに財務計算や文章テンプレート、検証チェックを組み合わせたシステムで、開発過程をLLMの判定器が導きながら資料の質を測っています。
判定器が資料の良し悪しを判断するんですか。それだと、判定器の基準が変わっただけで点数が上がっただけの可能性はないんですか。
そこが今回の核心で、同じモデルを短い指示だけで使った場合との差を、5人の判定器にテキストだけで評価してもらった結果、20.4から33.6、95点満点中の上積みが出ました。17の開発段階ごとの成果物すべてで、どの判定器も点数を上げましたが、判定器の基準がシステム側を有利に見ている可能性も残ります。
判定器の基準がシステム側を有利に見るって、具体的にどうなるんですか。
判定器が学習したデータと、開発チームが使ったテンプレートが重なると、判定器がテンプレートの形を既知の正解として扱います。例えばテストの答え合わせで、模範解答の書き方そのものを採点基準にすると、答えの内容より形式が優先されるのと同じです。
形式が優先されるんですね。では、開発現場で実際に組み込む場合、計算負荷やデータ準備の手間は増えるんですか。
判定器は開発全体の進歩には一致しますが、最終的な資料の順位付けでは意見が分かれます。直接Opusモデルに短い指示を出した結果との差は、マイナス4.7からプラス0.8点と、場面によっては逆転します。
数値が逆転する場面があるなら、判断が難しくなりますね。だとすると、このシステムは結局どこまで実用に耐えるんですか。
同じ資料を繰り返し評価しても点数が動き、小さな改良を判定器の揺らぎと区別がつきません。開発の方向性を示す指標としては使えますが、導入の判断材料にするには判定器の安定性がまだ解けていません。
繰り返し評価で点数が動くって、正確な評価が不可能になるんじゃないんですか。
繰り返し採点すると同じデッキでも点数がぶれて、小さな改善は判定器のばらつきと見分けにくくなるので、数値の動きだけで進捗を判断するのは禁物です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文