JAXで関数の微分を計算するasdex、スパースな行列を効率的に作る話

論文

JAXで関数の微分を計算するasdex、スパースな行列を効率的に作る話

スポンサーリンク

asdexが JAX でスパースな微分を効率的に計算するツールキットとして公開された

この記事のポイント

  • 密ヤコビ生成にはn回ADパスが必要
  • スパarsityパターン検出とグラフ彩色で圧縮
  • 帯ヤコビは帯数bのパス数で済む

数字で見る

この記事に出てくる数字

ADパス数 b
行列サイズ m×n

どこで使えるか

スパースなヤコビを高速に得たい人向け。密生成のNパスを色数bパスに圧縮 JAXで公開済み asdex.jacobian/hessianで利用可能

スポンサーリンク

解説

かみくだいて説明します

Adrian Hillらが公開した asdex というツールキットが、JAX の中で微分計算を効率化する Automatic Sparse Differentiation を実装しました。4 つのステップで、関数の出力が入力からほとんど独立している場合に、計算パスの数を大幅に減らします。
出力が入力から独立しているとき、つまりスパースな構造があるときですね。計算パスがどう減るんですか?
正確には 4 つの手順を踏みます。まず関数の入力と出力の関係をグラフとして可視化し、同じ計算パスで処理できる列や行を色分けします。次にその色ごとに 1 回ずつ微分を計算し、最後に元の構造に組み直します。グラフの色分けで言うと、隣り合うマスが同じ色にならないようにするあの作業に近いです。
隣り合う部分が同じ色にならないようにグループ化するんですね。色の数って問題の大きさに関係なく決まるんですか?
多くの場合、関係なくなります。例えば帯状の行列で、連続する帯が b 本ある場合、行列がどれほど大きくなっても必要な色は b 個だけです。問題の次元が上がっても計算量が追従しません。
行列が大きくなってもコストが増えない。作る側から見ると、いま使っている JAX の関数と置き換えられるんですか?
置き換え可能です。asdex.jacobian と asdex.hessian が、従来の jax.jacobian と jax.hessian の代わりに使えます。中身の計算ロジックはスパース対応に変わりますが、呼び出す側のコードはそのまま残ります。
コードを変えずに導入できる。ただしスパースな関数にしか効果がないってことですよね。
その通りです。すべての出力がすべての入力に影響する密な行列になる場合は、むしろ余計な処理が増える可能性があります。構造が事前に分かっている場合に真価を発揮します。
研究している人から見ると、どこがまだ解けていないんですか。
具体的な制限や未解決の問題についての記述はありません。そこはまだ分かっていません。
では、開発の予定について教えてください。
JAXのエコシステムでは、asdexがスパース自動微分を使える専用の道具として初めて使えるようになった。
最後に、実用化の目途は立っているんですか。
はい、JAXの既存関数と置き換えて使える状態です。特に、banded Jacobianのように特定の構造を持つ関数では、問題のサイズに関わらず効率的に計算できます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文