アラビア語の文化的適切さを評価する AraBehave、一般モデルと専門モデルの失敗理由を比較

論文

アラビア語の文化的適切さを評価する AraBehave、一般モデルと専門モデルの失敗理由を比較

スポンサーリンク

AraBehaveで一般モデルと専門モデルの失敗理由が異なり、文化知識は安全基準では測れないことが分かった

この記事のポイント

  • 文化適合度は2つの要素に分解される
  • 一般モデルは立場が不適切で減点される
  • 安全ベンチは89以上で飽和している

数字で見る

この記事に出てくる数字

プロンプト数 1,623
判定数 29,214
相関係数 r=0.74

どこで使えるか

文化適合度を自前で測りたい人向け。安全ベンチでは見えない失敗が見える 論文発表時に公開予定 スコアリングモデル含む

スポンサーリンク

解説

かみくだいて説明します

Enes Altinisik さんらの研究チームが、アラビア語の文化に即した回答をするかどうかを測る評価基準 AraBehave を公開しました。1,623 個のプロンプトに、アラブ各地のネイティブスピーカーから 29,214 件の判断を集めています。
文化に即した回答というのは、具体的にどんな部分を点数化するんですか。
大きく二つに分かれます。一つは、その文化で期待される立場や価値観を踏まえているかという姿勢の部分です。もう一つは、事実や引用が正確に grounding されているかという部分です。料理のレシピを教えるとき、手順が正しくて、なおかつその地域の食べ方やマナーに合わせた提案ができているか、そんなイメージです。
姿勢と正確さの二つで測るんですね。では実際にモデルを測った結果、点数はどうなりましたか。
3 つのアラビア語特化モデルと 3 つの最先端モデルを測りました。満点 5 に対して 3.84 と 3.83 でした。ただ失敗する理由が全く違うんです。総合的なモデルは事実の部分は強いですが、世俗的な視点で捉えようとして、なおかつ中立的なバランスを取ろうとして 28 から 33 割の理由で減点されました。一方、アラビア語特化のモデルは期待される姿勢は持っているのに、でっち上げのハディースや引用の誤りが 29 割を占めています。
世俗的な視点で捉えようとして減点されるのは、モデルが文化のルールを知らないからですか。
知っているからこそ、あえて中立的なバランスを取ろうとして減点されるんです。文化によっては既に決着がついている問題に対して、両論併記のような対応をすると評価が下がることになります。
姿勢は手軽に変わりますが、 grounding の部分はデータ量に比例するんですね。
文化に合わせた指示を一文足すだけで、Gemini は 4.57 まで上がります。逆に、ただ客観的に答えてくださいという汎用的な指示を出すと、Allam-7B は 0.68 点も下がります。
安全性のテストと文化のテストで、測っている中身が違うということですね。英語で質問を出すとどうなるんですか。
一つのモデルを除いて、すべてのモデルで点数が下がりました。grounding を保つにはアラビア語の学習データが不可欠で、言語が変わればそこで評価が崩れることになります。
判定モデルも一緒に公開されるんですね。
評価基準と注釈、そして判定用のモデルは公開する予定です。ただし、公開の具体的な日程や、今後追加でテストするモデルのリストについては、そこはまだ分かっていません。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文