ModularSQLが実行結果の重複を修正。Set-EXを維持しつつMultiset-EXが1.89ポイント向上。
この記事のポイント
- Set-EXは重複を隠す
- Multiset-EXで1532件評価
- Set-EX72.06%維持
どこで使えるか
Set-EXに隠れる重複を修正したい人向け。実行結果の重複を修正するランタイムガードレール。 DeepEye-SQLのコードは公開済み
スポンサーリンク
解説
かみくだいて説明します
Text-to-SQLのベンチマーク精度が上がっているけれど、実際の業務データベースでそのまま使えるんですよね?
確かにそうです。従来のSet-EX評価では重複行を潰すため、後工程の集計が歪むリスクが否めませんが。
重複行を潰すって、具体的にどんな不具合が見逃されるんですか?
DISTINCT指定の漏れや結合条件の緩さによる行の爆発、集計値の膨張が典型例です。
arXivで公開された本研究では、多重度盲点を解消するMultiset-EXとModularSQLが提案されています。
ModularSQLって、具体的にはどういう仕組みなんですか?
推論結果の多重度を保持して評価し、異常クエリのみ決定論的パッチや低コストLLMリスキューを適用します。
正常クエリには余計な処理をかけない設計なんですね!
その通りです。77件もの高リスクな異常を検出しながら、1クエリあたり120ミリ秒の遅延とわずか0.0076ドルのコスト増で済んでいます。
改善効果は具体的にどれくらいあるんですか?
Set-EXとMultiset-EXの間に5.81から6.79ポイントの乖離が確認され、ModularSQL統合でMultiset-EXが65.86%から67.75%に+1.89ポイント向上しました。
従来手法と比べた性能差は明確ですね!
77件の高リスク異常を検出しながら、1クエリあたりの遅延は120 ms、LLMコストは合計0.0076ドルに抑えられています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。セーフティネットとして機能し、検出されたクエリに対してのみ低コストなLLMによる救済を行います。
実際の試し方はどうすればいいんですか?
BIRD-Devの1532件で検証し、ModularSQLは追加コスト0.0076ドル、120ミリ秒の環境でSet-EXを維持しつつMultiset-EXを改善しました。
BIRD-Devの環境で検証した結果、マルチテナントやリアルタイムストリームへの拡張が期待されます。
精度と実用性の架け橋になる技術として、今後の発展が期待されます!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。