ビジネスルールを数式にするLLMの精度を上げるOSCAR、コストを抑える話

論文

ビジネスルールを数式にするLLMの精度を上げるOSCAR、コストを抑える話

スポンサーリンク

OSCARが、5問題で精度95%〜100%を達成。Codexの3.1倍、Claude Codeの5.8倍に抑えた

この記事のポイント

  • LLM生成のモデルは誤りやすく検証が難しかった
  • シミュレータで候補を比較しLLMを昇格させる
  • 小モデルでも高精度。ただしベンチ5問題のみ

数字で見る

この記事に出てくる数字

精度 95%〜100%
単発精度 29%と48%
トークンコスト比 3.1倍と5.8倍

どこで使えるか

ビジネスルールを明確にしたい人向け。小モデルで高精度。コストを抑えられる OSCARで公開済み 単一GPUでローカル推論可能

スポンサーリンク

解説

かみくだいて説明します

Jinzhi Buらが10月1日に公開した研究で、ビジネスの文章から最適化モデルを作る人工知能の枠組み「OSCAR」が、5つのベンチマーク問題で95%から100%の正解率を達成したと報告しています。
文章をモデルに変換するだけだと、条件や目的を間違えてコードを書いてしまうことがあるんですか?
その通りです。文章をコードに直す段階で条件がずれると、計算機は正しい答えではなく、間違った問題の最善解を返します。OSCARはこの作業を3つの役割に分け、シミュレーターが過去の正しい判断の例を基準に候補を比較し、コーダーがコードを書き、レビュアーが確認する仕組みにしています。
3つの役割を順番に回すのは、階段を一段ずつ上がっていくイメージですか。
正確には、能力と価格が異なる複数の人工知能を、安い順から順に呼び出す階段ですね。一度書いたコードが基準を満たさなければ、次の段階のより高性能な人工知能に引き継ぎます。どの段階まで上がるか、あるいはそこで止めるかは、問題の難しさが分からない状態での判断として数学的に最適条件を導き出しています。
問題が難しいと分かった瞬間に、すぐ高い人工知能に切り替えるわけではないんですね。
切り替えるタイミングは事前に計算されたルールで決まります。5つの問題で試したところ、2つの小規模なオープンウェイトの人工知能をそれぞれ1枚のグラフィックスカードでローカルに動かすだけで、正解率は平均29%と48%だった1回目の試行から、95%から100%まで上がりました。
オープンウェイトという言葉がありますが、中身が公開されているという意味ですか。そこがまだ掴めません。
レシピが公開されている料理のようなものです。材料と手順が見えるので、家庭のキッチンで自分好みの味に調整できます。会社の中で自分のパソコンで回せる仕組みになっています。
なるほど。1回目の試行で平均29%と48%なら、残りの段階でどれだけ正解を積み上げるんですか。
最終的に95%から100%に達しています。コスト面では、同じ条件で試したCodexとClaude Codeが、OSCARの平均トークンコストのそれぞれ3.1倍と5.8倍の費用をかけています。トークンコストは、タクシーのメーターのようなものです。文字を1文字処理するたびにメーターが上がっていく使用料金です。
3.1倍と5.8倍も違えば、運用する側の予算に大きく響きますね。オープンウェイトのモデルを自分でローカルに置く場合、データはどのように管理すればいいんですか。
実行可能な判断と実行不可能な判断の例を、企業側で事前にまとめておく必要があります。人工知能の解釈がその例と食い違ったとき、OSCARは例のラベルを優先して扱います。予算や機密性の要件に応じて、ローカルかクラウドか設定を変えられる点も設計の意図です。
では、実際の現場でこの枠組みが使えるようになるのは、どのくらいの見込みがありますか。
具体的な導入時期や企業への提供スケジュールについては、そこはまだ分かっていません。人工知能の性能と価格が変化する中で、OSCARのシンプルな操作ルールと調整可能な設定が、企業側のモデル選択を柔軟に変えられることを示した研究です。
最後に、研究を進める上でまだ解けていない課題はありますか。
一般の料金メニューについて、事前情報なしでも成り立つ競争保証を導いています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文