UnslothのDockerとマルチユーザー対応、推論と学習の改善

ツール・基盤

UnslothのDockerとマルチユーザー対応、推論と学習の改善

スポンサーリンク

Unsloth Studioがマルチユーザー対応と Docker 改善で、推論と学習の使い勝手が良くなった

この記事のポイント

  • 複数ユーザーで共有環境を使えていた
  • アカウントごとにデータを分離した
  • モデルは共有する。設定が一致する場合

どこで使えるか

チームで共有環境を運用する人向け。アカウントごとにデータを分離してモデルは共有する v0.1.810-betaで公開済み INT8/FP8 Diffusion推論限定

動画を見る

スポンサーリンク

解説

かみくだいて説明します

GitHubのdanielhanchenがUnslothのDockerとマルチユーザー機能のアップデートを発表しました。マルチユーザーアカウントの追加、AMDのRDNA1とRDNA2のGPU対応、画像生成のFP8とINT8推論による2xの高速化、WindowsのARM64環境でのCUDA対応が主な内容です。
マルチユーザーアカウントは、設定のアカウント画面から個別のパスワードとセットアップコードで作れるんですね。同じモデルを読み込んだ状態で、プロジェクトやチャット履歴を完全に分けられるんですか。
はい。読み込んだモデルの設定が同じなら共有しますが、アカウントごとにチャット、プロジェクト、認証情報、学習データを独立させて管理します。
設定が揃わない場合は別読み込みが必要ですね。RDNA1とRDNA2の対応で、以前使えなかったAMDのGPUでも学習が回せるんですか。
そうです。従来のサポート範囲を広げ、RDNA1とRDNA2のアーキテクチャに対応させたことで、より多くのAMD製GPUでUnslothの学習と推論が利用できるようになります。
ARM搭載のPCでもGPUが使えるようになるんですね。ネイティブのデスクトップパッケージとGPU検出の改善で、Windows環境でのセットアップが楽になるんですか。
はい。ネイティブのデスクトップパッケージを追加し、NVIDIAのGPU検出とリカバリー機能も改善しました。ARM搭載のWindows環境でも、これまで以上に安定してGPUを使えるようになります。
画像生成のFP8とINT8推論で2xの高速化が実現したとのことですが、FP8とINT8というのはモデルの計算精度を下げることで速度を稼ぐ仕組みですよね。
その通りです。高精度のデータで丁寧に描く代わりに、必要な部分だけを残してデータを軽くするイメージです。細部の解像度はやや抑えられますが、生成速度を大幅に短縮できます。
精度を落とす代わりに速度を稼ぐ、という使い方ですね。
正確には、FP8とINT8の推論形式を新たに追加し、画像生成の速度を2xに引き上げる形です。設定の切り替え方法については、そこはまだ分かっていません。
では、ツール実行のサンドボックス化で、ファイルアクセスの承認が必要になるのは、どの程度の場合ですか。
サンドボックスの外に出るファイル操作や、外部へのネットワークアクセスを試みた場合に承認を求めます。LinuxとmacOSではOSレベルのツールサンドボックスのプレビューも追加し、セキュリティを一段階引き上げます。
最後に、RDNA1とRDNA2のGPUで実際にどれくらい速度が変わるかは、まだ測れていないんですか。
具体的なベンチマーク数値やリリーススケジュールについては、まだ分かっていません。当面はGitHubでのフィードバックを受けながら、段階的に機能が展開されていく見込みです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤