検索とクエリのパフォーマンスを改善した Milvus v3.0.2、インフラの運用に役立つ話

ツール・基盤

検索とクエリのパフォーマンスを改善した Milvus v3.0.2、インフラの運用に役立つ話

スポンサーリンク

Milvus v3.0.2が公開。検索スループットが改善し、外部ストレージの S3 エンドポイント設定が追加された。

この記事のポイント

  • 検索時のCPU負荷が大きい
  • ホットパスの競合を解消した
  • フィルタ検索が高速化

数字で見る

この記事に出てくる数字

CPU時間比率 ~48%
HTTPステータス 429

どこで使えるか

大規模ベクトル検索でフィルタ処理のボトルネックを解消したい人向け GitHubリリースページで公開済み 検索・クエリ性能の最適化が中心、ライセンスはApache-2.0

スポンサーリンク

解説

かみくだいて説明します

yanliang567がGitHubで、ベクトルデータベースのMilvusのバージョン3.0.2を2026年9月21日に公開しました。
今回も速度改善が中心なんですね。検索の速度は、具体的にどれくらい変わるんですか?
検索の熱い経路にあるスカラーフィルタの評価で、従来はCPU時間のおよそ48%を占めていたアトミックな参照カウントの負荷を減らしました。データの中から条件に合うものだけを取り出す作業で、これまで何度も確認作業が重なって時間がかかっていました。それを一度に済ませる形に直したため、処理が速くなっています。対応するSDKは、Pythonが3.0.2、Node.jsが3.0.6、Javaが3.0.10、Goが3.0.2です。
確認作業が重なるのが原因だったんですね。その48%という数字は、どのくらいの規模のデータで測った結果ですか。
測定条件の詳細については、そこはまだ分かっていません。代わりに、インデックスの構築時にディスクへの書き込み回数を減らす最適化も入っています。テキスト検索やJSONのキー統計を使うインデックスを作るとき、ディスクへの負荷が下がります。
ディスクへの書き込み回数が減るなら、インデックスを頻繁に更新する現場では構築待ちの時間が短縮できそうです。では、RESTのエンドポイントにも制御が入ったようですが、こちらはどのような形で使えますか。
クエリの待機列が満杯のときに、HTTP 429を返してリトライを促す制御を追加しました。リクエストのデコードに入る前に行うため、サーバーへの負担を事前に防げます。
満杯のときに即座に断つのは、ダウンタイムを嫌う運用側には安心材料ですね。ノードを順番に更新するロールリングアップ時の不整合も気になりますが、こちらはどのように対策していますか。
全ノードがアップデートを完了してから、新しい機能を有効にするゲートを自動で設けました。バージョンが混在する期間にデータが壊れるのを防げます。
バージョンが混在するリスクを事前に防げるなら、大規模な環境でも更新がしやすくなります。では、外部ストレージとの連携機能も強化されていますが、こちらはどのような形で使えますか。
外部コレクションで、S3と互換性のあるエンドポイントを設定できるようになりました。設定値が安全か競合がないかを確認する検証も追加しています。ストレージのバージョン2に対応したため、データの保存場所を柔軟に選べるようになりました。
設定値の検証が追加されるのは、ミスによる接続障害を防ぐ上で安心材料ですね。最後に、このバージョンでまだ解決していない課題はありますか。
安定性に関する修正が多数入っていますが、ストリーミングノードのリバランス時に予期せず状態が切り替わる問題や、メモリリークの原因になっていたネイティブメモリの解放漏れは、今回の修正で解消されています。今後の展開としては、Storage V2の機能をさらに拡充する方向で進みます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤