huggingface/tokenizers の Python パッケージを修正し、transformers のインストールを再開放した話

ツール・基盤

huggingface/tokenizers の Python パッケージを修正し、transformers のインストールを再開放した話

スポンサーリンク

huggingface/tokenizers が v0.23.1 の破壊的変更を修正し、transformers のインストールを再開した

この記事のポイント

  • v0.23.1の変更でtruncation関連が壊れた
  • truncationとoverflowingのバグを修正した
  • v0.23.2からv0.23.3の変更範囲内

どこで使えるか

transformersの環境でトークナイザーの更新に失敗した人向け。v0.23.1の破壊的変更が解消される pipで更新すれば使える v0.23.1の破壊的変更を修正

スポンサーリンク

解説

かみくだいて説明します

SBrandeisさんがGitHubで、huggingface/tokenizersのバージョン0.23.3を、2026年10月9日に公開しました。今回はPython向けのパッケージだけで、他の言語の版は変更ありません。
Pythonだけの変更なんですね。開発者が使う側からすると、今回の修正で何が楽になるんですか?
大きく三つの直しが含まれています。一つ目は、huggingface_hubという別のライブラリへの要求を緩め、バージョン2も使えるようにした点です。これによって、transformersという人気ツールがインストールできなくなっていた問題が解消します。
transformersが使えるようになったのは大きいですね。残りの二つは、具体的にどの部分が治ったんですか?
二つ目は、pyrightという型チェックのツールで型ヒントが解決できなくなっていた問題を直した点です。三つ目は、テキストを切り詰める処理で、以前バージョン0.23.1から壊れていた部分を戻した点です。
切り詰め処理が壊れていたんですね。それを「切り詰め」と言われても、中身がイメージしにくいんですが、どういう動きだったんですか?
テキストを指定した長さで切り取る時、余った部分が前の区画に溢れてしまっていた状態です。例えば本をページ数で区切って本棚に並べる時、最後のページが余っても前のページに無理やり詰め込んでいたのが、今回は正しく次の区画に回るように直りました。
確かに、区切りがずれると次の処理全体が狂いますね。この修正は、自分でモデルを作る技術者にとって、すぐに適用できるものですか。
Pythonで開発を進めている方は、この版に更新すれば、先ほどのインストール問題と切り詰めのトラブルが同時に解消します。
なるほど、Python環境だけ更新すればいいんですね。では、他の言語の版はいつ変わる見込みですか。
そこはまだ分かっていません。今回のリリースノートにはPython版のみが明記されていて、他の言語のスケジュールや変更内容の記載はありません。
最後に、今回の修正で気をつける点はありますか。
更新後は動作確認を続けていただき、他の言語版の公開スケジュールについては、また公式のGitHubで発表があるのを待ってください。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤