BenCoDiCが公開。対話文脈を加えると Bengali いじめ検出が安定して改善。
この記事のポイント
- ベンガル語の既存データは文脈が不足していた
- 100動画から50,250件のコメントを9次元で整理
- 文脈情報を加えると検出精度が向上した
数字で見る
この記事に出てくる数字
| データ件数 | 50,250 |
|---|---|
| YouTube動画数 | 100 |
どこで使えるか
ベンガル語いじめ検出を自前で組む人向け。文脈情報を加えると精度が安定して向上する GitHubで公開済み 9次元スキーマで構造化
スポンサーリンク
解説
かみくだいて説明します
Md. Nesarul Hoqueらの研究チームが、ベンガル語の政治ニュースを題材にしたネットいじめのデータセット「BenCoDiC」を公開しました。YouTubeの動画 100本と、それに付くコメントや返信から、50,250件のテキストを集めたものです。
50,250件も集めたんですね。AIが自動で分類したんですか?
最初は AIのチャットボット 5つを試しましたが、信頼度の基準に届かなかったため、専門家による二段階の手作業に切り替えました。その結果、分類の一致度を表す統計値がどちらも 0.86に達しています。
0.86というのは、専門用語のフリースのκやクリッペンドルフのαのことですか?そこがまだ掴めません。
専門用語ではそう呼ばれますが、わかりやすく言うと、複数の人が同じテキストを見て「いじめだ」「いじめではない」と判断したとき、その答えがほぼ揃っている状態です。例えば 100枚の写真に「猫だ」と全員が書いた場合の一致率に近いと考えてください。
なるほど、ほぼ全員が同じ判断を下しているということです。では、このデータセットを使って、いじめを行う側の行動パターンを分析できるんですか?
できます。動画の投稿者、コメントしたユーザー、返信した相手、そしてどの政治団体が狙われたかといった情報を、9つの軸で整理する構造になっています。これにより、誰が誰をターゲットにしているかのネットワークを可視化できます。
9つの軸で整理する構造というのは、図書館の本の分類に似ていると。特定の団体だけを絞り込んで調べられるんですね。
専門的にはスタースキーマと言いますが、図書館で本を分類するイメージです。著者、出版社、ジャンル、出版年月、ページ数、読者評価、対象年齢、言語、主題という 9つの枠を別々に用意し、それぞれの本がどの枠に属するかを紐付ける仕組みです。データを探すとき、特定の政治団体だけを絞り込むような使い方ができます。
会話の流れまで考慮に入れると、検出精度が一貫して上がるというのは、作る人にとって大きなヒントになります。
トランスフォーマーという AIのモデルで実験したところ、前後のコメントや返信の文脈を加えると、単独のテキストだけを使った場合より、一貫してやや精度が上がりました。ただし、あくまで控えめな改善幅です。
控えめな改善でも、安定して上がるのは大きいですね。最後に、このデータセットを自分で使うには、どのような手順が必要になりますか?
公開されているサイトから無料で入手できます。ただし、ベンガル語のテキストが中心のため、他の言語のデータにそのまま適用できるかは、今後の検証次第です。そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。