データセットの処理を速くする huggingface/datasets 5.1.0 の更新

ツール・基盤

データセットの処理を速くする huggingface/datasets 5.1.0 の更新

スポンサーリンク

huggingface/datasets 5.1.0 が DNA 配列やタンパク質構造の読み込みに対応した

この記事のポイント

  • 生物データの新形式に対応した
  • FASTAやGenBankなどの新フォーマットを追加
  • 新機能追加と不具合修正が中心

数字で見る

この記事に出てくる数字

fsspec上限 2026.7.0

どこで使えるか

FASTAやPDB等の生物データ形式を自前で扱いたい人向け GitHubリリースページから入手可能 v5.1.0で利用可能、pip更新で導入

スポンサーリンク

解説

かみくだいて説明します

huggingfaceが公開したライブラリ huggingface/datasets のバージョン 5.1.0 が、lhoestq によって 2026-10-06 に更新されました。今回はデータ形式として、強化学習の環境向けに harbor ベンチマークが追加され、高速な列指向ストレージの vortex 形式に対応しました。さらに DNA 配列やタンパク質の構造データを扱うためのファイル形式が複数、新たに読み込み可能になります。
列指向ストレージに対応したんですね。開発者がデータを読み込むときの速度は、これまでとどれくらい変わるんですか?
正確には具体的な数値は示されていませんが、vortex はデータを縦方向にまとめて保存するため、必要なカラムだけを取り出すときにディスクへの読み込み回数が大幅に減ります。まるで辞書の目次だけ見て必要なページを開くのと、辞書全体を最初から最後までめくるのを比べるような違いです。
必要な部分だけを取り出すわけですね。
vortex 形式のサポートが追加されており、高速に処理できる列指向のデータ形式に対応したデータセットを扱えるようになっています。
では、生物学のデータ形式が複数追加されましたが、研究している人から見ると、どこが新しいんですか?
従来の FASTA 形式に加えて、FASTQ や GenBank、タンパク質の三次元構造を表す PDB や mmCIF 形式も読み込めるようになりました。これまでは外部の専用ソフトで変換していた生体データを、このライブラリだけで直接扱えるようになります。
変換の手間が省けるわけですね。AI のモデルに学習させるデータセットを構築する現場では、どのくらいのデータ量に対応できるんですか?
データセットを huggingface のサーバーへアップロードする際、分割数をデータ自体の分割数より多く設定できるようになりました。これにより、大量の生体データを複数の計算ノードに分散させて並列で処理しやすくなります。
要旨には性能の改善という内容が出てきますね。
そこはまだ分かっていません。vortex 形式と生物データ形式の組み合わせテスト結果については、今回の更新ノートに明記されていないためです。
最後に、他形式との互換性や組み合わせのテスト結果は、今後のアップデートで公開される見込みですか?
今後、FASTAやFASTQなどのバイオ形式やPDB、mmCIFなどの構造データ形式のサポートが追加され、より多様な生物学的データの取り扱いが可能になります。

出典

この記事のもとになった情報

  • GitHub:5.1.0
  • 公開日:2026-10-06

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤