Charismatic Prosody Analysisが、話者の声と言語の特性を分離。フランス語は丁寧な声、ルクセンブルク語は存在感のある声。
この記事のポイント
- 400発話の音響特徴を分析
- 話者個人差が最も大きい
- フランス語は敬語的な特徴
数字で見る
この記事に出てくる数字
| 政治家数 | 10人 |
|---|---|
| 発話数 | 400 |
| 特徴量数 | 41 |
どこで使えるか
二言語話者の声の特性を分離したい人向け。話者差と言語差の影響を定量的に評価できる arXivで公開済み モデルは公開なし。データは要申請
スポンサーリンク
解説
かみくだいて説明します
ニナ・ホセイニ=キヴァナーニさんたちの研究チームが、ルクセンブルク語とフランス語で演説する政治家 10 人の発声を分析し、声の魅力に話し手の影響と言語の影響がそれぞれどれだけあるかを調べました。
話し手の個人差が大きいのは想像がつきますが、研究している人から見ると、41 種類の音響特徴をどう区別したんですか。
統計的なモデルを使って、同じ文脈で話した録音 400 個から特徴を抜き出し、話し手の違いと言語の違いを別々に計算しました。話し手の違いが全体の大半を占め、言語の違いはそれより少ないですが、確かに系統だった差として出ました。
系統だった差として出たんですね。フランス語が丁寧で、ルクセンブルク語が前に出る響きになるというのは意外です。
フランス語では声の細かな震えを示す shimmer と、文の終わりの音の高さ F0 が高めに出ました。ルクセンブルク語では中程度の周波数のエネルギーが強く、声の存在感が大きい傾向でした。
shimmer や F0 といった専門用語が続きますが、そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
分かりやすく言うと、shimmer は声の細かな震えで、F0 は声の高さです。フランス語では声が少し震えやすく、語尾を高く上げるので、丁寧で敬遠した響きになります。ルクセンブルク語は中域の音がしっかり出るため、前に出て話すような印象になります。
なるほど、言語の役割の違いが声の出し方に表れるわけですね。作る人として聞きたいんですが、こうした特徴を AI が自動で分析する際、手元で動かすのは容易ですか。
分析対象は政治家の演説 10 人で、条件がかなり揃った環境でした。同じ条件で録音されたデータが公開されていれば AI での自動処理は可能です。データが揃っていない場合や条件が異なる場合は、そこはまだ分かっていません。
データと分析の条件が揃った環境なら、言語ごとの声の特徴を数値で整理する段階まで進められそうです。
言語ごとの声の特徴を数値で整理した段階ですが、フランス語は丁寧な声、ルクセンブルク語は存在感のある声という違いがデータとして見えてきました。
最後に、実用化に向けて一番難しい部分はどこになりますか。
実用に向けては、フランス語とルクセンブルク語の系統差が他の言語ペアでも出るかが課題です。話者ごとのばらつきは大きいものの、言語による系統差は確認できました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。