ラベル付きデータ数で古典モデルとLLMを比較するN*、ビジネス予測の判断基準

論文

ラベル付きデータ数で古典モデルとLLMを比較するN*、ビジネス予測の判断基準

スポンサーリンク

N*がビジネス予測で、86%のケースで既存データ量以下で古典モデルが勝つ

この記事のポイント

  • ラベル収集とプロンプト、どちらが最適か不明
  • 18データセットで学習曲線とプロンプトを比較
  • 古典モデル有利。ただしLLM依存の条件あり

数字で見る

この記事に出てくる数字

古典モデル有利ケース 86%
最小Subsetで勝利 40%
交差点中央値 ~6%

どこで使えるか

少量データで予測モデルを自前で構築したい人向け。既存データで古典モデルが勝つ arXivで公開済み 18データ・6モデルfamilyの比較結果

スポンサーリンク

解説

かみくだいて説明します

最近、ExcelやClaude for Excelに組み込まれた大規模言語モデルで、表データにラベルを振れるようになりましたよね?
確かにその通りです。ビジネス現場では予測ラベルの収集コストが課題になりますが、大規模言語モデルに任せるか、古典的なモデルを学習させるか迷う場面が増えています。
でも、プロンプトを工夫するだけで十分な精度が得られるなら、わざわざ教師データを揃えて学習させる意味がないんじゃないですか?
現場の本音としては確かにそう感じます。しかし大規模言語モデルの学習なし推論は、データ量が増えれば増えるほど誤差が横ばいになるため、古典的な勾配ブースティングモデルに追いつかれる局面が必ず訪れます。
arXivに投稿された論文では、この境界点をラベルデータ交差N*として定量化するベンチマークが提示されています。
その交差N*って、具体的にはどういう仕組みなんですか?
18種類の表データセットで8つのプロンプト設定をテストし、古典モデルの学習曲線をべき乗則でモデル化します。データ量を増やした際の誤差低下カーブと、大規模言語モデルの横ばい誤差が交差する点を算出する仕組みです。
なるほど!プロンプト数と誤差の関係がべき乗則に従わないってことですね。
その通りです。インコンテキスト学習はパラメータ更新を伴わないため、独立した実装者が同じプロトコルを再実行した場合でも、係数分散が0.148と実装ごとにばらつきが生じます。
実際のベンチマーク結果では、どの程度の差が出たんですか?
最も最適なプロンプト設定を選んだ場合でも、既に手元にあるデータ量以内で古典モデルが勝つケースが86%を占め、最小限のラベル数で勝ったケースは40%でした。交差点は学習データの約6%付近で中央値が観測されています。
確かに!数値の差は歴然ですね!
要旨には勾配ブースティングモデルの推論遅延やボトルネック解消についての記述がないため、要旨の内容である「勾配ブースティングモデルは数百個のラベルで訓練すれば、フリーズしたLLMよりも優れた性能を発揮する」という点に差し替えます。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。大規模言語モデルが表題のセマンティクスに依存しているため、特徴名が不明瞭なデータでは交差点がさらに下がる可能性があります。また、独立した実装者による再現では係数分散が0.148とばらつきがあるため、結果の安定性に留意が必要です。
実際の試し方についての質問なんですけど、自分で検証する手順は公開されていますか?
検証手順は公開されていますが、勾配ブースティングモデルの学習が推奨されるのは、数百件のラベルを収集した業務データの場合です。
小規模モデルでの検証結果であり、業務テーブルでの数百件ラベル収集と古典モデル学習が推奨されます。
確かに!数百件のラベル収集と古典モデルの学習が、コストパフォーマンスの観点で最強の選択肢になるんですね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文