Hugging Face Transformers v5.20.0 に Muse Spark Open や Kolibri1 などが追加された。
この記事のポイント
- 数十ページを一度で読み取れる
- 3BパラメータのOCRモデルにR-SWAを導入
- 単一フォワードパスで数十ページを処理可能
数字で見る
この記事に出てくる数字
| パラメータ数 | 816B |
|---|---|
| アクティブパラメータ | 42B |
| コンテキスト長 | 1,048,576 |
どこで使えるか
数十ページを1パスで処理したい人向け。R-SWAでKVキャッシュを一定に保つ Hugging Faceで公開済み ライセンスはApache-2.0
スポンサーリンク
解説
かみくだいて説明します
GitHubに vasquが 2026-10-16に公開した huggingface/transformers のバージョン 5.20.0 です。Muse Spark Open、Ling 3.0 Flash、Kolibri 1、MiniCPM-V 4.7、UnlimitedOcr、UltraBERT、MOSS-Transcribe-Diarizeの 7つのモデルが追加されました。
7つも一気に追加されたんですね。開発者が組み込みやすいように、読み込みの面はどうなっていますか?
一番注目されるのは Metaの Muse Spark Openです。テキスト、画像、音声、動画をまとめて入力してテキストを出力するマルチモーダルモデルで、パラメータは合計 816B、1つのトークンを処理するたびに動くのはおよそ 42Bです。コンテキスト長は 1,048,576トークンまで対応します。
合計 816Bのうち実際に動くのは 42B。この違いは何なんですか?
専門用語では混合专家モデルと言います。入力が来たとき、必要な部分だけを選んで計算する仕組みです。全部の部品を使うのではなく、料理で言うところの具材をその日のメニューに合わせて選ぶようなイメージです。
なるほど。必要な部分だけ選んで計算するんですね。では、音声と文字を同時に扱う MOSS-Transcribe-Diarizeについて聞きたいんです。
これは 0.9Bのパラメータを持つモデルで、長い音声から複数の話者の台詞を抜き出し、誰がいつ話したかを 1回の処理で出力します。出力される形式は始まりの時刻、話者番号、台詞、終わりの時刻が 1行にまとまる形です。対応言語は 50以上です。
1回の処理で話者分けと文字起こしが終わる。では、バージョンアップで気を付けるべき変更点はありますか?
はい。キャッシュの古い呼び出し方をしていたコードは、新しい APIに書き換える必要があります。またカーネルの最小バージョンが 0.17.2に引き上げられ、読み込みに失敗したときに元の処理に戻れるようになりました。
戻れる仕組みが追加されたのは安心ですね。では、高速化の面では何か問題がありますか?
現在、EPの推論で速度が落ちる現象が報告されています。修正は急ピッチで進めている段階です。
最後に、このバージョン 5.20.0を現場で使う場合、どこがまだ見えていないんですか?
チェックポイントのBF16とNVFP4形式の提供や、各モデルの文書・ブログへのリンクは既に公開されていますが、実環境でのベンチマーク結果はまだ示されていません。
出典
この記事のもとになった情報
- GitHub:Release v5.20.0
- 公開日:2026-10-16
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。