Qwen2.5-3B の LoRA 更新で、勾配よりランダム選定が忘却を抑制する話

論文

Qwen2.5-3B の LoRA 更新で、勾配よりランダム選定が忘却を抑制する話

スポンサーリンク

Qwen2.5-3Bの LoRA 更新で、勾配選定よりランダム選定の方が忘却抑制に優れていた。

この記事のポイント

  • LoRAの勾配マスク選定に混入因子があった
  • B行列のみで比較を隔離した
  • ランダムが下位転移で勝る。ただし医療に偏り

数字で見る

この記事に出てくる数字

医療タスク寄与率 80%

どこで使えるか

LoRA更新で忘却抑制を重視する人向け。勾配選定の手間を省ける コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

Yu Sunらの研究チームが報告しました。AIモデルに複数のタスクを順次覚えさせる際、勾配の値で更新箇所を選ぶ手法が、同じ数のパラメータをランダムに選んだ場合より記憶の低下が大きいという結果が出ました。
勾配の値って、モデルが間違えた時に情報を戻す計算のことですよね。なぜそれがランダムより悪くなるんですか?
従来はランダムと勾配を比べた研究が多かったんですが、実は比較の条件にズレがあったことが分かったんです。標準的なLoRAという手法では初期状態でAという行列の値がゼロになっているため、勾配を使った選び方はBの要素しか選べず、ランダムの方はAとBの両方から選べる状態でした。選べる範囲自体が変わっていたので、勾配の選び方だけを評価した比較にはならなかったんです。
選べる範囲を同じにしたら、本当にランダムの方が記憶の低下が少なかったんですか。
はい。Qwen2.5-3Bというモデルで7つの条件で試したところ、同じ数のパラメータを均等にランダムに選んだ方が、勾配を使った選び方より記憶の低下が小さくなりました。特に医療系のタスクでその差が顕著で、全体の80%を占めていました。コードや数学のタスクも同じ方向に動きますが、法律のタスクでは明確な差は見られませんでした。
医療だけ大きく差が開いた理由は何ですか。
正確には医療タスクが全体の差を押し上げている形です。これは安定性と柔軟性のトレードオフが関係しています。ランダムに選ぶと単一のタスクへのフィットが少し下がりますが、その分次のタスクに入った時の記憶の崩れが抑えられる傾向があります。医療タスクは選択肢が限られた形式で、このバランスが特に効いた可能性があります。
現場でこの手法を組み込む技術者から見ると、勾配の選び方はもう使わない方がいいんですか。
必ずしもそうだとは言い切れない部分があります。勾配の選び方は追加の計算コストがかかりますが、ランダムな選び方は単一のタスクへの精度が少し下がる可能性があります。技術者が選ぶ場合は、求められる精度と計算リソースの兼ね合いで判断することになります。
精度の下がり幅はどのくらい見込まれるんですか。
医療と法律の2つのタスクでは、精度と記憶の低下の差は統計的に0と区別がつかない範囲でした。コードや数学のタスクでも同様の傾向が見られますが、具体的な数値についてはこの研究では明示されていません。
では、次は実用化のスケジュールについて聞きたいんですが。
実用化の日程や具体的な製品への組み込み時期については、この研究には記載がありません。そこはまだ分かっていません。
最後に、研究者として次に注目する点はどこですか。
Qwen2.5-3Bでの医療タスクが80%を占め、コードと数学は同方向、法は差なし。ランダムマスクが安定性-可塑性トレードオフでわずかに単一タスク適合を低下させる。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文