Consensus Rankingが、21指標を3つに絞って精度を上げ、計算時間を96%削減した
この記事のポイント
- 指標の寄与に差がある
- SHAP等4手法で合意順に選別
- Top3で精度97.148%、時間589秒
数字で見る
この記事に出てくる数字
| 精度 | 97.148% |
|---|---|
| 削減率 | 96.06% |
| 実行時間 | 589.22s |
どこで使えるか
21指標から3つに絞りたい人向け。合意順選別で精度維持、計算時間を大幅削減 arXivで論文公開済み CICIDS2018データセット使用
スポンサーリンク
解説
かみくだいて説明します
Ali Melih KancaさんとIlker TurkerさんがarXivに発表した論文で、ネットワークの通信データをNatural Visibility Graphという手法で解析し、サイバー攻撃の検出に使う指標を21種類から3種類に絞っても、精度と速度がともに上がることを実証しました。
指標を21から3に減らすんですか? 減らしたところで、攻撃を見逃す心配はないんですか?
心配はありません。3種類に絞ったTop3の設定で、正確に検出する割合が97.148%、重み付きF1スコアが97.055%、そしてMCCという指標が0.9675になりました。一方、21種類全部を使ったFull21はそれぞれ95.999%、95.521%、0.9549でした。
確かにTop3の方が数字が上回っていますね。では、研究している人から見ると、この21種類の指標の中でどこが特に重要だったんですか?
4つの重要度分析手法、SHAP、Permutation Importance、Boruta、RFEを合わせて順位を付けました。その結果、平均クラスタリング係数の中央値、標準偏差、平均値の3つが最も上位に来ました。
平均クラスタリング係数というのは、聞きなれない言葉ですね。もう少しやさしく言うとどうなりますか?
通信データの結びつきが、局所的にどれくらい密に群がっているかを示す数字です。身近な例で言うと、街中のカフェで隣同士の席がどれくらい埋まっているかを見るのに似ています。席が密集しているほど、そのエリアの活気を表す指標になるという考え方です。
局所的な盛り上がりを測る指標だったんですね。では、作る人にとって、この3種類だけを使うことで現場の負担はどれくらい減るんですか?
計算にかかった時間は14,961.39秒から589.22秒に短縮され、およそ96.06%の削減になりました。同じCNNという分類器とCICIDS2018というデータセット、5分割交差検証で測った結果です。
では、別のデータセットでも同じように使えますか?
そこはまだ分かっていません。今回の検証はCICIDS2018という特定のデータセットとCNN分類器に限った結果ですから、別の環境で試した時の振る舞いは別の記事か、あるいは著者の発表を待つ必要があります。
確かに使えそうな環境が限られていると言えそうです。最後に、この手法が実務で普及する上で、まだ解決していない課題はありますか?
Consensus Rankingで統合したことは書かれているが、別の統合方法の安定性やリアルタイム適用の検証が必要であるという記述はない。今後の見通しに関する主張は要旨にないため。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。