LoRA のランク利用率を上げる ISO-LoRA、パラメータ効率の良い適応を改善する話

論文

LoRA のランク利用率を上げる ISO-LoRA、パラメータ効率の良い適応を改善する話

スポンサーリンク

ISO-LoRAが、LoRA のランク利用率とモデル性能を向上させた

この記事のポイント

  • LoRAのランクは容量を決めるが、最適化が使い方を決める
  • ISO-LoRAで特異値方向にエネルギーを均等配分する
  • 中〜大ランクで効果大。小ランクや他手法との比較は不明

数字で見る

この記事に出てくる数字

モデル規模 0.1B-7B

どこで使えるか

LoRAのランク利用率を上げたい人向け。最適化手法を選り分ける手間がある arXivで公開済み コードは記載なし

スポンサーリンク

解説

かみくだいて説明します

Zihan Zhu さんを筆頭とする研究チームが、新しい論文を発表しました。大規模言語モデルを学習で調整する手法、LoRA について、使うランクの数値と同じくらい、最適化のアルゴリズムが結果を左右することが分かったということです。
なるほど、ランクという数字が重要なのは知っていましたが、アルゴリズムの違いで結果が変わるというのは意外です。これまでは何ができていなかったんですか。
従来はランクの値さえ上げれば、モデルが覚えられる情報の量も比例して増えると考えられていました。しかし GPT-2 での確認では、AdamW は特定の方向への更新だけを集めやすく、Muon はより多くの方向を使えるため、同じランクでも結果が違ったのです。
容量を全部使い切れていない、つまり無駄が出ているわけですね。現場でこの手法を組み込む場合、既存のアルゴリズムから乗り換えるだけで済む話ですか。
既存のコードと置き換える形で使えます。チームが提案する ISO-LoRA という新しいアルゴリズムは、重みの空間で生じる変化を、特異値分解という形で均等に広げるように調整します。
特異値分解で均等に広げる、というのがまだ掴めません。もう少しやさしく言うとどうなりますか。
従来のアルゴリズムは、学習のたびに特定の方向への更新だけを集めてしまい、他の方向が余ったままになっていました。ISO-LoRA は、その余っている方向にもエネルギーが行くように、更新の向きを一度に並べ替えるイメージです。
向きを並べ替えて、容量をムラなく使う。では、実際の性能向上はどれくらい変わるんですか。
0.1B から 7B までのパラメータ数を持つ言語モデルで検証しました。特にランクが中程度から大きい領域で、有効ランクと実際のタスクの精度が明確に向上しました。
ランクが大きいほど恩恵が大きい、つまり投資対効果が上がるということですね。では、理論的な裏付けはどうなっていますか。
簡略化された勾配のモデルを仮定して、従来の方法より高い有効ランクを一段階の計算で示しています。パラメータ効率の良い学習において、アルゴリズムの設計が重要な道筋になるという提言です。
最後に、このアルゴリズムを実際の超大規模モデルに適用したときの計算コストや、他の調整手法との組み合わせについてはどうなっていますか。
超大規模モデルへの適用では、0.1Bから7Bパラメータの言語モデル適応で有効性を検証しており、他の調整手法との組み合わせについては、パラメータ効率的な適応を強化する重要な道筋を示唆しています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文