30msで判断する決定モデルthis-that-model-1.0、フロントモデルの代わり

論文

30msで判断する決定モデルthis-that-model-1.0、フロントモデルの代わり

スポンサーリンク

this-that-model-1.0が公開。30ms で判断し、フロントモデルの代わりになる。

この記事のポイント

  • 判断にAPI呼び出しの遅延があった
  • 2Bパラメータの型付き判断モデル
  • 68件で0.941。算数では0.560

数字で見る

この記事に出てくる数字

推論速度 30.9 ms
API応答時間 8758 ms
Brierスコア 0.042

どこで使えるか

30msで判断しコストを下げたい人向け。算数や多段推論には不向き Hugging Faceで公開済み 2Bパラメータ、単一GPUで32 decisions/sec

スポンサーリンク

解説

かみくだいて説明します

ソフトウェアが判断をAIモデルに委ねるケースが増えていますよね?
確かに増えますが、プログラムが求めるのは文章ではなく、指定された選択肢のどれかといくつかの数値です。
従来のAPI呼び出しだと、レイテンシやトークン課金、パースの手間がネックになりますよね?
その通りで、通常は数百ミリ秒の遅延とパーサーのオーバーヘッドが避けられません。
そこで公開されたのが2Bパラメータの型付き判断モデル、this-that-model-1.0です。
そのアプローチって、具体的にはどういう仕組みなんですか?
指定された位置の隠れ状態を直接読み取り、呼び出し元が宣言した選択肢の範囲に制限します。
文章を生成しないので構文エラーが起きない仕組みなんですね!
1回のフォワードパスでリクエスト内の全質問に回答を返す設計です。
実際の速度や精度は従来手法とどれくらい違うんですか?
ラップトップGPUで30.9ミリ秒、1秒間に32件の判断を処理します。
外部APIやホスト型システムとの比較結果も知りたいです。
フロンティアAPIは8758ミリ秒かかりますが、自モデルは0.941の精度で電気代0.000217ドルです。
でも、1回の推論で中間結果を保持できないなら、結局根本的な解決にはなっていないんじゃないですか?
その通りで、多段階の算術問題では0.560にとどまり、追加学習でも他のタスクには転移しませんでした。
現場で実際に試すにはどうすればいいんですか?
Hugging Faceでモデルが公開されていますので、内部の判断キューに組み込んで検証してみてください。
32秒で42家族の内部スイートが完了し、10.636ドル対0.000217ドルのコスト差が実用性を示しています。
専用の判断モデルが標準になる未来が楽しみですね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文