TQSがコード生成AIの学習データをプロセス品質で選別し、性能が安定して向上した
この記事のポイント
- 最終結果だけで選んでいたため
- 構造スコアで軌跡をランク付け
- SWE-Bench-Verifiedで上位が優れる
数字で見る
この記事に出てくる数字
| 学習データ数 | 155,144 |
|---|
どこで使えるか
プロセス品質で学習データを選別し、安定した性能向上を狙う人向け 論文の提案手法でありモデルは公開されていない TQSスコアリングコード等の実装は記載なし
スポンサーリンク
解説
かみくだいて説明します
Sida Liらの研究チームが、コードを書くAIの学習データを選ぶ新しい基準「TQS」を発表しました。最終的な正解だけでなく、作業の過程の質を数値で測る仕組みです。15万5144件の成功した作業記録から点数を付けて選び、AIを学習させたところ、SWE-Bench-Verifiedというテストで、ランダムな選び方や点数が低い選び方より、一貫して成績が良くなりました。
作業の過程を見るんですか。見る基準は具体的にどこにあるんですか。
情報への集中具合、指示と実際の操作のズレ、それに手順の変化の仕方この三つの構造信号で評価します。
構造信号って、具体的にどういう意味なんですか。
例えると料理の動画のような話です。材料を何回も確認する人より、必要な時だけ見て次の工程に進む人の動画の方が、料理を学ぶ人には役に立つという話に近いです。
手順の効率で見ているんですね。従来の手法と比べて、計算の速さや準備の手間はぐっと楽になりそうです。
従来はLLMという大きな言語モデルを判定役に使っていましたが、TQSはモデルを使わずに構造だけを見て計算します。計算の量はデータの数に比例して増えるだけで、判定に使うモデルの準備も要らないため、大量のデータでも速く処理できます。
判定に使うモデルが要らないんですね。使う側からすると、現場で動かすのはかなり手軽になりそうです。
公開されているコーパスからデータを選び、TQSで点数を付けて並べ替えるだけです。特別な環境の構築は不要で、点数が高い順にデータを取り出して学習にかけます。
特別な環境が要らないんですね。テストの成績が良くなった理由は、手順に無駄があったからなんですね。
最終的に正解を出せた記録でも、作業の過程に無駄が多いと、AIがその無駄な手順まで真似てしまうからです。TQSで無駄を省いたデータだけを選べば、AIが効率の良い手順だけを吸収できるようになります。
無駄な手順を省いたデータだけを使うんですね。では、使う側からすると、現場で実際に動かすのに何が要りますか。
公開されているコーパスからデータを選び、TQSで点数を付けて並べ替えるだけです。特別な環境の構築は不要で、点数が高い順にデータを取り出して学習にかけます。
特別な環境が要らないんですね。最後に、この研究でまだ解けていない点はどこですか。
今回使ったのは公開されている特定のコーパスのデータだけなので、他の環境や別の種類のタスクで同じように通用するかは、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。