ATDがQwen2.5-1.5Bのコーディング能力を5.34ポイント上げた
この記事のポイント
- 教師の更新情報が無関係な生成に残る
- ATDで教師の1語だけから生徒を学習
- Qwen2.5-1.5Bで5664nsesが5.34pp向上
数字で見る
この記事に出てくる数字
| HumanEval+向上 | 5.34pp |
|---|---|
| 学習データ | 5,664nses |
どこで使えるか
教師の更新が生成に残る現象を悪用して、教師の重みなしで生徒を向上させたい人向け。 コードの公開は記載なし 1.5Bモデルでのみ検証済み
動画を見る
スポンサーリンク
解説
かみくだいて説明します
最近のLLM研究って、結局タスク専用のデータで延々と微調整していますよね?
確かにその通りです。タスク特化のデータで学習させるのが標準ですが、教師モデルの更新が関係ない文章の裏側に能力の痕跡を残していることが分かっています。
だとすると、従来は教師モデルの出力を大量に生成して、生徒モデルに教える手法しかなかったんですか?
教師モデルの膨大な生成出力に頼っていた従来手法は、モデルの内部構造を共有する必要があり、計算コストも生じていました。
そこでarXivに投稿されたActive Taskless Distillation、通称ATDという手法が注目されています。教師モデルからプロンプトごとにたった1単語だけを抽出して能力を転移させる仕組みです。
そのアプローチって、具体的にはどういう仕組みなんですか?
基底モデルが2つの一般的な単語の間でほぼ同確率で迷うプロンプトを自動選定し、教師モデルが返す1単語だけを生徒モデルの学習データにします。タスク例もロジットもパラメータも一切不要です。
迷いを誘発するプロンプトから1単語だけで学習するんですか!なるほど、ノイズの中からシグナルだけ拾う感じですね!
だとすると、実際にどの程度の性能向上が期待できるんですか?
Qwen2.5-1.5Bを基底モデルにしたコーディング実験では、5,664サンプルの抽出でHumanEval+ベンチマークにおいて正確な混変量一致制御群を比較して5.34ppの明確な向上を確認しています。
5,664サンプルで5.34ppの差は、データ量に対して非常に効率的ですよね!
科学知識や常識推論、読解力でも同様の転移が確認されており、学習したスキルは組み合わせて使用でき、その強度が教師モデルの更新強度に比例することも実証されています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに。ATDは教師と学生の共通祖先が二つの単語の間でほぼ無関心なプロンプトを選択し、ターゲットタスクの例や教師のロジット、パラメータなしで学習する点が特徴です。
実際の試し方についての質問ですが、研究者がすぐに検証するにはどうすればいいんですか?
公開コードとarXivの論文を参照すれば、プロンプト選定から1単語抽出、生徒モデルのファインチューニングまでのパイプラインを再現できます。ぜひご自身のモデルで試してみてください。
モデルの更新が関係ない出力にまで影響を及ぼすことを示唆しており、今後、効率的な学習手法やセキュリティ評価の観点からも注目されます。
今後、モデルの生成やサイズ、ファミリーを超えた追加実験でも転移が確認されています。
出典
この記事のもとになった情報
- arXiv:Post-Training Leaves Behavioral Shadows on Unrelated Decisions
- 公開日:2026-09-24
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。