検索結果からロシアのプロパガンダを検出する SWARM、多言語の人手による注釈データ

論文

検索結果からロシアのプロパガンダを検出する SWARM、多言語の人手による注釈データ

スポンサーリンク

SWARMが公開。検索結果からロシアのプロパガンダを検出する多言語データセット。

この記事のポイント

  • 9言語2,183件の検索結果を人手で注釈
  • ブロックリストは主流メディアの記述も見逃す
  • LLMのF1は0.73、教師ありは0.5程度

数字で見る

この記事に出てくる数字

最強LLMのF1 0.73
教師ありモデルのF1 0.5
データセット件数 2,183

どこで使えるか

多言語でプロパガンダを自前で検出したい人向け。LLMが一定の精度を達成。 論文付属コードで公開済み 9言語・検索結果特化の評価

スポンサーリンク

解説

かみくだいて説明します

マニュエル・トネーら11人の研究チームが、検索エンジンの結果からロシアの国家プロパガンダを検出するためのデータセット、SWARMを公開しました。9つの言語でおよそ2,183件の検索結果を収録し、ニュースサイトから政府のサイト、ブログまで多様なウェブドメインをカバーしています。
検索結果そのものを集めたんですか。プロパガンダと判断する基準は、誰がどう決めているんですか。
訓練を受けた担当者が、ロシアのプロパガンダの決まり文句に賛同しているかどうかを一つずつ判定しています。ただ、従来の手法では遮断リストと呼ばれる既知の悪質なサイトだけをブロックするやり方が主流で、このデータセットで試したところ、プロパガンダの内容はリストアップされたサイトだけでなく、普通のニュースサイトにも紛れ込んでいるため、ほとんどの記事を見逃していました。
普通のサイトにも混ざっているなら、リストだけじゃ無理ですね。中身を読んで判断するAIの性能はどうでしたか。
中身を読んで判断する大規模言語モデルで最も良かったものは、プロパガンダと正しく見抜けた割合を示すF1という数字で、0.73を記録しました。一方、従来の教師あり分類器と呼ばれる手法は、およそ0.5程度にとどまりました。ただし、小さいモデルだと話題に関連しているだけで賛同していると誤って判定する傾向が強く出ました。
F1という数字は、まだ掴めません。正確には何を測っているんですか。
誤って見抜いたと判定してしまうミスと、見抜くべきものを見逃すミスの両方をバランスよく抑えているかを表す指標です。探している記事の中で、実際にプロパガンダが混ざっているものをどれだけ正確に見つけて、見つけ間違えがどれくらい少ないかを一つの数字にまとめたものです。
混ざっているものをどれだけ正確に見つけられるかの指標になるんですね。では、このデータセットと判定のコードは、実際に検索エンジンを開発している企業でも使えますか。
コードと判定の仕組みは公開されていますので、開発現場でそのまま組み込んで試すことは可能です。ただ、9つの言語それぞれで中身を評価する必要があるため、追加で使いたい言語がある場合は、その言語用の体制を別途整える必要があります。
言語ごとに別の体制が必要というのは、追加コストが大きいですね。ゼロショットで動くモデルと、教師ありで訓練したモデルの違いは、現場ではどれくらい明確に出ますか。
ゼロショットのモデルは、教師ありのモデルよりも高精度で、F1値が0.73と0.5と大きな差があります。訓練データの手間はかかりますが、現場での精度を考えると、ゼロショットのモデルが有力な選択肢となります。
手間と精度のトレードオフですね。最後に、この手法が実用化されるまでの課題は何か分かっていますか。
小さいモデルが話題の関連性を支持と誤認する点です。言語ごとの内容レベルでの評価が必要ですが、それがどの程度有効かは今後の課題です。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文