Qwen DeepSeek Kimi の記事書き換えを元に戻す能力を測った話

論文

Qwen DeepSeek Kimi の記事書き換えを元に戻す能力を測った話

スポンサーリンク

Qwen DeepSeek Kimiは記事の枠組みを認識しても、元に戻すことはできなかった

この記事のポイント

  • 既存研究は生成や検出の評価が中心
  • 本文の3手法で540組の対を構築
  • 逆転成功率は認識精度より著しく低い

数字で見る

この記事に出てくる数字

記事数 60
変種数 540
事実保持率 0.84

どこで使えるか

記事の枠組みを認識した上で元に戻したい人向け。逆転成功率は認識精度より著しく低い 論文の記載なし テスト手法の紹介論文

スポンサーリンク

解説

かみくだいて説明します

Yi Liu さんが arXiv に公開した論文で、大規模言語モデルがニュースの枠組みを変えた文章を、事実を壊さずに元に戻せるかどうかを調べました。60 本のニュース記事を使って、評価語、行動の主体、情報の前面出しの 3 種類の枠組みを変化させ、540 組の対を作って Qwen と DeepSeek と Kimi の 3 つのモデルでテストした結果、事実の維持率はおよそ 0.84 でしたが、枠組みを元に戻す成功率は 0.044 から 0.068 にとどまりました。
事実をそのまま保ちながら、書き手の意図を変えられないということですね。研究する人から見ると、これまでのモデルとどこが違っていたんですか。
従来はモデルが中立っぽく書き直せたか、あるいは書き換えた文章を検出できるかを見る研究が中心でした。今回のテストでは、モデルが枠組みを正しく認識しているかだけでなく、実際に逆向きに書き直す操作を正確に実行できるかを直接測った点が違います。
認識はできても戻せない。0.071 という数字は、どの条件で出た結果ですか。
枠組みの種類と方向の両方を正しく見抜けた場合でも、戻す成功率は 0.071 でした。つまりモデルは記事がどう組み立てられているかを理解しているのに、それを逆の手順で解きほぐす段階でつまずいているということです。
専門用語の扱いが難しい。評価語や情報の前面出しを逆向きに変える作業は、モデルにとって具体的にどこが難しいんですか。
枠組みを元に戻す手順が、文章を新しく書く手順と異なるためです。例えば事故の記事で主語を個人から組織に変える場合、モデルは意味は保てるのに、逆の手順で元に戻そうとすると事実の並び替えに失敗します。
なるほど。Qwen と DeepSeek と Kimi の 3 つで、戻す成功率に開きはありましたか。
3 つのモデルとも事実の維持率は 0.84 前後でほぼ同じでした。戻す成功率も 0.044 から 0.068 の狭い範囲に収まっており、モデルの違いというより、この作業自体が現在の技術では難しい課題だという結果です。
技術者側がこのテストを現場の作業に組み込む場合、どこに期待できますか。
文章がどう組み立てられているかを分類する検出ツールとしては使えますが、自動で逆向きに書き直す機能はまだ期待できないということです。当面は文章の構造を分析する研究用ツールとして位置づけられると見るのが妥当です。
最後に、AI を使う側が見る場合、この結果は書き手の意図を操作する道具にどう関係しますか。
記事の書き方を理解する参考にはなりますが、意図を自在に書き換える道具にはまだならないということです。AI を組み込むサービスにこの機能が搭載される時期は不明で、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文