Kairosの構成要素が440バイトの単文で収束を検証。マルチモーダルへの拡張は未実施。
この記事のポイント
- 単一マシンで試行錯誤できる余地がなかった
- 構成要素のアルゴリズムを提示し収束検査を実行
- 実装は最適化されるが、汎化や比較は未検証
どこで使えるか
単一マシンで試行錯誤したい人向け。構成要素のアルゴリズムを提示し収束検査を実行 GitHubとPyPIで公開済み 200M/25Mは目標値で未測定
スポンサーリンク
解説
かみくだいて説明します
Fabien Furfaroが公開したKairosというモデルは、テキストから画像、音声、動画、LiDAR、制御信号までを、1バイト単位の共通空間で扱う基礎モデルです。
1バイト単位なんですね。全部のデータに適用するんですか。
そうです。文字を構成する16進数のコードポイントとして扱い、画像や音声も同じ数値列に置き換えて学習させます。
なるほど。同じ数値に直すのは手間が掛かりそうです。
確かに手間はかかりますが、共通の空間にすればモデルの構造を一つにまとめられます。
作る側から見ると、組み立てが楽になるんですか。
まだその段階には達していません。現時点では、440バイトの文章1つだけを使って、1万から1500万パラメータの範囲で学習が収束するかを確認する段階です。
1つの文章だけなんですね。どれくらいで終わるんですか。
3000ステップで誤差がおよそ0.001まで下がりました。600ステップ時点では、0.018から0.354の間でモデルによって差が出ました。
仕組みとしては動いていますね。研究している人から見ると、どこが新しいんですか。
複数のデータを同じ数値空間で扱う試み自体はありますが、Kairosはそれに加えて、LiZAttention2と呼ばれるスライドする窓で注目範囲を変える注意力と、専門分野ごとに働く回線を使う層を組み合わせています。
専門分野ごとの回線って、包丁と包丁袋みたいなものですか。
正確には、包丁と包丁袋ではなく、専門の道具を収納した引き出しのようなものです。必要な処理だけを取り出して使い、余計な計算を省きます。
引き出しから取り出すんですか。全部のデータを同時に扱えるんですか。
そこはまだ分かっていません。複数のデータを同時に学習させる大規模な事前学習は、これから計画している段階です。
最後に、実用化までにはどれくらいの時間がかかる見込みですか。
現時点では通算2億パラメータ、実際に働く部分を2500万パラメータにすることを目指していますが、処理速度の数字は測定していません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。