市場 Basket 分析でレアな関連を回収する手法 Apriori、top-K、NC、DF の比較

論文

市場 Basket 分析でレアな関連を回収する手法 Apriori、top-K、NC、DF の比較

スポンサーリンク

NC と top-K が、Apriori よりレアな関連を80-100%回収した

この記事のポイント

  • Aprioriの閾値設定は頻出と多発のトレードオフ
  • NCとtop-Kは稀な関連性を多く復元できる
  • NCは保持データで統計的有意性を維持しやすい

数字で見る

この記事に出てくる数字

Instacartデータ 320万

どこで使えるか

レアな関連を多く復元したい人向け。統計的有意性はNCのみ維持しやすい 論文の手法はコード公開なし Aprioriやネットワーク手法は既存ライブラリで利用可能

スポンサーリンク

解説

かみくだいて説明します

Xiao Han たちの研究チームが arXiv に発表した論文で、3.2 million 個と 208 thousand 個の買い物かごデータを使い、商品同士の組み合わせをどう絞り込むか 5 つの方法を比べました。
5 つの方法というのは、Apriori という昔からある手法と、それに新しい filter を足した形ですか。
はい。Apriori は組み合わせが出た回数を数えて、一定の数以上しか残さない仕組みです。お菓子とジュースのセットが 100 回出ていたら残して、5 回しか出ていなければ捨てるといった具合です。回数を数える基準を高くすると頻繁な組み合わせだけ残りますが、低くすると残す組み合わせが多すぎて処理が追いつかなくなります。
なるほど。回数の基準で線を引き、それ以外の切り口で残す組み合わせを決める 3 つの方法があるということですね。
その通りです。top-K は lift という値が大きい順に上位 K 個だけ残す方法で、NC は統計的な有意さを表す α という一つの数字で線を引く方法、DF はネットワークの構造から外れる線を削る方法です。α は網目の粗さを決める定規のようなもので、これを一つ決めるだけで NC は top-K に匹敵する lift を実現します。Apriori が 22-28% しか回復できなかったレアな組み合わせを、NC と top-K は 80-100% まで取り戻しました。
回復率はほぼ同じなのに、選ばれる組み合わせが 18-29% も違うんですか。
そうです。NC は統計的に信頼できる組み合わせだけを残し、top-K は lift は高いけれど統計的には弱い組み合わせも残します。実験を繰り返したところ、top-K の組み合わせは毎回同じように出てくるものの、NC の組み合わせはおよそ 12 ポイント分、次のデータでも統計的に意味があるまま残る確率が高かったです。
なるほど。top-Kは平均liftを最大化する方で、NCはαという一つの数字で安定した結果を出せるのが大きな違いですね。
論文ではαの値を変えた時の振る舞いには触れていません。そこはまだ分かっていません。ただ、NCが一つの数字で安定した結果を出せるのは、top-KがKの値を決める手間があるのと比べて、設定が少し楽になる可能性があります。
なるほど。基準値を上げ下げするだけでは限界があるということは、Apriori という名前がついたアルゴリズムそのものが悪いわけではないということですね。
正確にはその通りです。Apriori は依然として使われていますが、閾値の上げ下げだけではレアな組み合わせの発見に限界があるという指摘です。top-K や NC といった手法が、より多くのレアな関連を回復できると示しています。
最後に、この手法を商品推薦のシステムに組み込む場合、実用化には何が足りないと考えていますか。
α の最適な値は、この論文では検証されていません。今後の実装では、それぞれの業界のデータに合わせて値を調整する検証が不可欠になるでしょう。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文