多モーダルモデルは曖昧さを失い、文化的参照も欠く
この記事のポイント
- モデルは曖昧さを消去する傾向がある
- 文化参照をほとんど使わない
- Dixitゲームのヒントで比較した
どこで使えるか
曖昧さを意図的に残す表現を生成したい人向け。文化的文脈を踏まえた比喩的表現が要る arXivで公開済み Dixitゲームのタスクに基づく評価
スポンサーリンク
解説
かみくだいて説明します
Cody Kommers さんたちの研究チームが、マルチモーダル言語モデルについて arXiv に論文を発表しました。人々が言葉や画像で伝える曖昧さを、ボードゲームの Dixit を使って実験し、人間のヒントと AI が生成するヒントを比較したところ、モデルは常に曖昧さが崩れる傾向があることが分かります。
曖昧さが崩れるというのは、ヒントが余計に細かくなってしまうということですね。そこがまだ掴めません。
正確には、解釈の余地がなくなるほど具体的に書いてしまうことです。 Dixit では絵カードを見て連想される言葉を答えますが、人間は例えば「遠い記憶の匂い」といった複数の答えを許す表現を使います。それに対してモデルは「青い空の下で咲くひまわりの絵」といった、正解が一つに定まる説明を返します。
なるほど。では、開発する立場からすると、この曖昧さを残す指示出しは難しいですか。
論文ではプロンプトで比喩や典故を使うよう指示しても、モデルは文化的な参照をほとんど使わないと報告しています。指示を出した上でも参照が見られなかったため、実用上は文化的な文脈を意図的に組み込むのが難しい状態と捉えられています。
文化的な参照をほとんど使わないというのは、どのくらいの割合で出てこないんですか。
具体的な数値は論文に明記されていません。ただし、指示を出した上でもほぼ参照が見られなかったため、実用上は文化的な文脈を意図的に組み込むのが難しい状態と捉えられています。
では、AI を仕事で使う側から見ると、この性質は既に影響が出ているんですか。
画像を説明する際などに、ユーザーが想定していない方向に具体化が進むケースが報告されています。モデルが本来持つ曖昧さの崩壊をどう制御するかが、次の課題になります。
研究する側からすると、なぜモデルが文化的な参照を使えなくなるんですか。
論文では原因について特定の結論は出ていません。どこまで調整で改善できるかは、そこはまだ分かっていません。
最後に、今後の見通しはどうなるんですか。
論文では今後の実験計画について具体的な記述がありません。研究チームが次にどのような検証を進めるかは、まだ分かりません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。