AMI Meeting Corpusの分析で、LLMと人間のファシリテーション行動に違いが確認された
この記事のポイント
- LLMと人間のファシリテーションの差が不明
- 199対の会話で5つの行動指標を比較
- LLMは話題拡散が強い。ただし相関のみ
数字で見る
この記事に出てくる数字
| 相関係数 | r=0.703 |
|---|---|
| 相関係数 | r=0.644 |
どこで使えるか
LLMのファシリテーション特性を把握したい人向け。人間の傾向との違いが分かる 論文PDFで公開済み AMI Meeting Corpusのデータは別途入手が必要
スポンサーリンク
解説
かみくだいて説明します
Mohammed Azeez Khanらの研究チームが、会議の進行役を人工知能に任せた場合と人間の場合の振る舞いを、199の会話データで比較した研究を発表しました。人工知能にはLlama 3.1 8B Instructを使い、AMI Meeting Corpusから選んだ人間のプロジェクトマネージャーの発言と照らし合わせて、5つの項目で数値を測りました。
比べた項目が5つあるんですね。では、実際にシステムを組み込む技術者の立場から聞きたいんですが、今使われている進行役の仕組みを置き換える話ですか。
文脈の関連の深さや、話題がどれだけ外れるか、あと指示語に合わせて進行フェーズの言葉が揃うかを測りました。人間側は文脈の関連がr = 0.644で高く、人工知能側は話題の逸脱がr = 0.703で上回りました。ただしr = 0.288だった言語の拡張指標は文の長さの影響を受けているため、正確には比較できません。
話題がそれるのは進め方に問題があるんですか。
品質の順位付けではないと研究側は明言しています。人工知能は指示に沿って進行フェーズの言葉を揃える傾向がr = 0.382と出ましたが、これはシステムプロンプトで進行役を依頼しているため、自発的に場面を理解した証拠にはなりません。人間側に出たr = 0.203の項目も、心理的な共感ではなく、言葉尻を曖昧にするハッジ表現の多さだと読み替えています。つまり、相手への配慮というより、発言を安全な範囲に収めるためのクッション言葉の使い方です。
言葉尻を曖昧にするクッション言葉の使い方なんですね。では、研究の立場でもう一点聞きたいんですが、直接性という項目はなぜ使われなかったんですか。
探索的な直接性の指標は領域の妥当性検証に失敗したため、解釈しないことになりました。代わりに文脈の関連や話題の逸脱、ハッジ表現の密度、フェーズ語彙の一致度、そして文の長さの影響を除いた拡張指標の5つに絞って分析を進めました。
測定項目の設計がまだ解けていない部分があるんですね。では、AIを使う側の立場で聞きますが、会議の資料作成や議事録の自動生成に、この研究成果は直接役立ちますか。
進行役の振る舞いを数値で特徴づけたものなので、議事録の生成や資料作成の精度が上がるわけではありません。ただし人工知能がどの項目で人間とずれるかのプロファイルができたので、次回から人工知能の進行役を使う場合の注意点や、プロンプトの調整方向の参考にはなります。
参考になるんですね。では、今後の展開で何が期待できますか。
人工知能の進行役と人間の進行役、そして異なるプロンプトやモデル、会議の場面を横断して比較する研究の土台になります。ただ、直接性の指標が検証失敗に終わったように、測定項目の設計がまだ解けている部分もあるため、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。