六つの生成 AI アプリのユーザー評価を分析し、信頼と摩擦を測る話

論文

六つの生成 AI アプリのユーザー評価を分析し、信頼と摩擦を測る話

スポンサーリンク

Claudeが最も否定的評価が高く、ユーザーが二極化している

この記事のポイント

  • 6アプリの英語レビュー17,012件を分析
  • 広告や認証でネガティブ感情が集中
  • DeepSeekの地政学懸念は部分的観察

数字で見る

この記事に出てくる数字

分析対象アプリ数 6
レビュー数 17,012

どこで使えるか

AIアプリの信頼性や利用障壁をアプリ横断で把握したい人向け arXivで公開済み コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Md Jafrin Hossain さんらの研究チームが、アプリ ストアのレビューおよそ 1万7012件を分析した論文を発表しました。ChatGPT や Gemini、Claude などの主要な生成 AI アプリ 6 つについて、ユーザーが不満に思う点を統計で整理しています。広告が 91%、ログインの手間が 89%、サーバーの不安定さが 83%、有料プランの価格が 73% で否定的な意見の中心になっていました。
6 つのアプリを一度に比べた研究なんですね。分析にはどんな手法を使ったんですか。
BERTopic や RoBERTa といった機械学習のモデルを使って、文章の中から話題を自動的に分類し、ユーザーが喜んでいるか怒っているかを判定しています。新聞の切り抜きをカテゴリー別に箱分けし、それぞれの箱に書かれた内容がポジティブかネガティブかチェックする作業を、コンピューターに任せているイメージです。人間が 300 件を手作業でチェックした結果と照らし合わせて正確さを確かめていて、信頼できる水準に達していると報告しています。
正確さを人間の手で確かめたんですね。各アプリで結果に違いは出ましたか。
違いははっきり出ました。Claude が最も否定的な意見の割合が 47.7% でしたが、同時に熱烈な支持層もいるため、ユーザーが極端に分かれる傾向が統計的に確認されています。他のアプリもそれぞれ特徴的な不満の持ち方をしていて、一律に悪いというわけではなかったです。
極端に分かれる傾向があるんですか。開発者がこの結果をどう役立てられるんですか。
研究チームは信頼と摩擦を数値でまとめた指標を提案しています。広告やログイン、サーバー、価格といった項目を一つのスコアに落とし込むもので、開発者が自社のアプリのどこに改善の手を差し伸べるべきか、優先順位をつけるのに使える形です。
優先順位をつけるための指標なんですね。DeepSeek について何か気になる点はありましたか。
DeepSeek については、中国発のアプリであることに関連する地政学やデータプライバシーへの懸念が一部のレビューから指摘されています。全体を通して、ユーザーの信頼や使いやすさ、普及の壁について実証的な証拠を提示できたとしています。
指標の計算式が公開されているなら、すぐに試せそうです。開発現場で実際に組み込む場合、すぐに使える状態なんですか。
指標の計算式や分類の枠組みは公開されていますが、各社の内部データとどう統合するか、あるいはプライバシー懸念をどう数値化するかは、まだ具体的な手順が示されていません。
最後に、今後の研究の方向性について知りたいです。
英語のレビューだけを対象にしたため、他の言語圏のユーザーの意見がどう反映されるかは今後の課題です。開発現場で実際に指標を回した時の精度や、改善施策との因果関係については、そこはまだ分かっていません。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文