Weaviate の LSM ストア修正とモジュール設定の柔軟化

ツール・基盤

Weaviate の LSM ストア修正とモジュール設定の柔軟化

スポンサーリンク

Weaviateが LSM ストアの修正とモジュール設定の変更を柔軟に扱えるようになった

この記事のポイント

  • 既存コレクションで設定変更が制限されていた
  • モジュールに設定変更の可否を委ねた
  • 変更可能な設定はモジュール次第

数字で見る

この記事に出てくる数字

Parquet上限 1 GiB

どこで使えるか

既存コレクションのモジュール設定を柔軟に変更したい人向け GitHub Releasesで公開済み v1.38.19から更新で利用可能

スポンサーリンク

解説

かみくだいて説明します

GitHubでantas-marcinさんが2026-10-07に公開したWeaviateの1.38.20です。LSMストアと呼ばれるデータの保存領域で、バケットの登録や名前変更の処理が正しく動くよう修正されました。
LSMストアというのは、データベースの中にあるデータの置き場所のことなんですね。バケットが名前を変えた時に、前の場所の記録が残ったままになっていたんですか?
fix(lsmkv) の修正で、名前の変更や置き換えのときにバケットの登録が止まらずに進むようになりました。
なるほど。では、既存のコレクションに対して、モジュールの設定を後から自由に変えられるようになったんですか。
はい。それまでは一度作ったコレクションに割り当てたモジュールの設定が固定でしたが、1.38.20からは、必要に応じて変更できる項目が増えました。
作り変えずに済むのは助かりますね。データのエクスポートに関する仕様も変わっていますか。
1 GiBに達した時点で、自動的に新しいParquetファイルを作成するようになりました。それまでは1つのファイルに全て書き込んでいたため、容量が膨らむと処理が重くなる問題がありました。
Parquetファイルというのは、データを表形式で保存する仕組みですよね。1 GiBで区切ることで、読み込みの速度がどう変わるんですか。
正確には、ファイルが小さく区切られることで、必要な部分だけを素早く読み込めるようになります。例えば大きな本棚から1冊だけ取り出す時、本が1万冊入った1つの棚だと探すのに時間がかかりますが、100冊ずつの小さな棚ならすぐに目的の本にたどり着けます。
なるほど、本棚に例えると確かに分かりやすくなりました。では、検索アルゴリズムのHNSWについてですが、これも修正が入ったんですか。
はい。距離が全てゼロの隣接リストに、戻り経路を張る処理を高速化しました。従来はO(M)の計算が必要でしたが、今回の修正で必要な計算量が大幅に減ります。
O(M)というのは、データが増えるほど計算時間が指数関数的に増える話ですよね。修正後はどのくらい速くなるんですか。
要旨には計算手順や処理時間に関する記述が見当たらないので、具体的な修正案は示せない。
最後に、この修正を現場で使う技術者は、どのような点に注意すればいいんですか。
既存のコレクションでモジュール設定を変更する場合は、モジュールが変更可能な項目と固定の項目を決定します。LSMストアの修正は自動で適用されますが、設定の変更は管理者の手順が必要になるため、作業前にドキュメントを参照してください。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤