Weaviate v1.38.18 のバッチ処理にセマフォを導入し、並列実行の制御を強化する話

ツール・基盤

Weaviate v1.38.18 のバッチ処理にセマフォを導入し、並列実行の制御を強化する話

スポンサーリンク

Weaviate v1.38.18が公開。バッチ処理の並列実行を制御し、起動時のデータ競合を修正。

この記事のポイント

  • バッチ処理でデッドロックが起きていた
  • MMRのクエリベクトル正規化を修正した
  • マルチテナントの再ベクトル化チェックも修正した

数字で見る

この記事に出てくる数字

バックオフ 指数関数的

どこで使えるか

バッチ処理の並列実行で停止したくない人向け。起動時のデータ競合も修正。 GitHubリリースで公開済み v1.38.18で利用可能、ライセンスはBSD-3-Clause

スポンサーリンク

解説

かみくだいて説明します

GitHub の antas-marcin が、ベクトルデータベース Weaviate の v1.38.18 を 2026年10月1日に公開しました。新機能や破壊的変更はなく、バグ修正とテスト速度の改善が中心です。
新機能なしで修正だけなんですね。開発者が実際に困っていたのは、どのような点だったんですか?
主にデータの一貫性とバックアップの信頼性が問われる部分でした。マルチテナントのコレクションで PATCH 命令を使ったとき、再ベクトル化のチェックが正しく動いていなかった問題を修正しています。また、バックアップのエンドポイントが、呼び出し元がアクセスできないコレクションまで公開してしまう脆弱性も解消しました。
アクセスできないデータまで見えていたのは危険ですね!修正後の動作は、どう変わるんですか?
呼び出し元に権限がないコレクションは、バックアップの一覧から完全に除外されます。それと並行して、バッチ処理の並列数を制御するセマフォを導入したため、大量のデータを一度に読み込む際にメモリが溢れる事故が起きにくくなりました。
大量データの読み込みでメモリが溢れる話ですね。セマフォは具体的に何を制御するんですか?
一度に処理できるリクエストの数を、あらかじめ決めておいた上限まで抑える仕組みです。エレベーターに一度に乗れる人数を決めて、それ以上は次の便に待ってもらうのと同じです。これにより、サーバーが処理しきれなくなって固まるのを防ぎます。
なるほど!上限を超えたら待ってもらうんですね。テストの速度はどのくらい速くなったんですか?
fast-group-3のテスト時間は半分に、fast-group-5は3分の1以上短くなった。
半分、3分の1以上ですね。二次関数的に増えるというのは、データが増えるほど遅くなるということですか?
はい。データが倍になれば処理時間が四倍、三倍になれば九倍になる計算です。インデックスを追加したことで、データが増えても処理時間が直線的にしか増えなくなります。
処理時間の伸び方が抑えられるんですね!最後に、次回のアップデートで何が予定されているんですか?
バッチ処理にセマフォを入れたり、raftノードを原子的に公開したり、バックアップのエンドポイントが権限のないコレクションを見せないようにしたりと、修正が重ねられています

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤