数学の推論を改善する Llama-3-8B、DeepSeekMath-7B のファインチューニング

論文

数学の推論を改善する Llama-3-8B、DeepSeekMath-7B のファインチューニング

スポンサーリンク

CCPOが、数学の推論精度を大きく向上させた。

この記事のポイント

  • 従来手法は論理依存と実行整合性を捉えきれなかった
  • 依存グラフと整合性スコアでペア学習データを作成
  • 物理推論で他モデルを上回る。ただし単一分野のみ

数字で見る

この記事に出てくる数字

MATH精度向上 +17.0%
GSM8K精度向上 +15.1%
PhyX精度 50.1%

どこで使えるか

数学推論や物理推論の精度を上げたい人向け。依存グラフで整合性を担保する学習データが要る コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

数学や物理の推論タスクで、LLMが計算ミスや論理の飛躍を繰り返すのは、やっぱり根本的な課題ですよね?
確かにその通りです。実行ベースの検証で計算の正しさを担保しつつ、依存関係を考慮したフィルタリングが重要視されていますが、従来の手法ではまだ課題が残ります。
既存の報酬モデルって、なぜ論理のつながりを捉えきれないんですか?
従来手法はブラッドリーテリーモデルに依存しており、科学タスクに必要な論理的な依存関係や実行時の整合性を捉えきれないという課題があります。
そこでarXivに公開された研究では、依存グラフを構築して実行整合性スコアを算出するCCPO手法が提案されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
推論ステップの式や前提条件、導出関係を抽出して有向グラフを作成し、各ステップに実行整合性スコアを付与します。これをペア学習データとして、Llama-3-8BやDeepSeekMath-7Bにファインチューニングを適用する構成です。
各ステップにスコアを振るだけで、モデルが論理のつながりを自然に学習できるんですね!
実際の性能向上はどれくらいあるんですか?
MATHベンチマークで+17.0%、GSM8Kで+15.1%の大幅な精度向上を確認しています。マルチモーダル物理推論のPhyXでは50.1%の正解率を達成し、DeepSeek-R1の49.8%やOpenAI o3-miniの48.2%を明確に上回りました。
競合モデルを大きく引き離しているんですか?
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。ただし、この方法でMATHで17.0%、GSM8Kで15.1%向上し、PhyXでも50.1%の正解率を達成しています。
実際の試し方はどうすればいいんですか?
ファインチューニングでMATHで17.0%、GSM8Kで15.1%の大幅な向上が確認されています。
科学の妥当性カバレッジは91.7%、物理推論では50.1%の精度を達成しています。
MATHで17.0%、GSM8Kで15.1%の向上が確認されています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文