Atomic User Modelは、23%のコンテキストでフルモデル並みのスタイル忠実度を出した。
この記事のポイント
- 従来は会話履歴から好みを要約
- 人格核と4層で構成する人モデル
- 8フィールドで文脈の23%に一致
数字で見る
この記事に出てくる数字
| 取得項目数 | 8 |
|---|---|
| フルモデル並み | 23% |
| 識別率 | 42.7% |
どこで使えるか
人格ベースのパーソナライズを組む人向け。会話履歴依存を避け、タスク変更時の再学習コストを下げる 論文の提案手法のためコード公開は記載なし 16人のシミュレート参加者で評価
スポンサーリンク
解説
かみくだいて説明します
B. Sankar, Deepthika S, Pawni Yadav, Amogh A S の研究チームが、大規模言語モデルを使ったアシスタントの振る舞いを人の性格構造に合わせる「Atomic User Model」を提案しました。従来の会話履歴から好みだけを抜き出す手法ではタスクが変わるたびに人物をやり直しますが、心理・認知・行動・社会の 4 つの層と内面の葛藤を記録する枠組みで人物を扱い、生成時に必要な 8 つの項目だけを取り出すことで、全体の 23% の文脈で完全なモデルに匹敵する精度を出しました。
なるほど、会話の記録から性格を推測するのではなく、あらかじめ性格そのものを整理するわけですね。作る側から見ると、この 4 つの層にデータをどう入れていくんですか。
既存のアンケートや過去の行動ログから 4 つの層に分類して埋めていきます。心理の層には内向きか外向きかの傾向を、行動の層には普段どんな操作をよくするかという記録を対応させます。人物をファイルのように整理し、必要なページだけ開く設計になっています。
ファイルから必要な分だけ開く感じですね。では、取り出す順番や量は誰が決めるんですか。
正確にはタスク分類器と予算付き検索装置が連携して決めます。タスク分類器はユーザーが何を求めているかをまず判別し、予算付き検索装置は渡せる情報の量を制限して、最も関連度の高い 8 つの項目だけを返します。
予算付き検索装置というのがまだ掴めません。もう少しやさしく言うとどうなりますか。
例えるなら、図書館の司書が一度に借りられる冊数を制限して、その範囲で一番必要な本だけ持ってくる仕組みです。必要な情報の量を決め打ちし、それ以上は出さないことで、アシスタントが迷わずに済むようにしています。
なるほど、容量を決め打ちして必要な分だけ届けるわけですね。評価結果はどうでしたか。
16 人のシミュレーション参加者と 6 つのタスクで試した結果、従来の好みだけのメモより 5 点満点で 0.24 点高く、参加者自身の話し声を当てる識別率も 14.9% から 42.7% に上がりました。4 つの制御実験では有意差が出ず、効果がこの整理方法そのものにあることを確かめています。
25% の当たり確率を大きく上回る 42.7% ですね。使う側からすると、この整理されたデータは自分で書き換えられるんですか。
人間の読み書きができる形式で公開していますが、実際の書き換え手順についてはそこはまだ分かっていません。ただし、デフォルトのアシスタントが最も再現しにくい人ほど、この手法の恩恵が大きいという結果も出ています。
普段使いにくい人ほど価値が出るのは理にかなっています。最後に、この整理方法を他のアシスタントにも広げる見通しはありますか。
シミュレーション参加者での評価が中心で、実際のユーザーへの適用には追加の検証が必要です。どのようなタスクで効果を発揮し、どこまで拡張できるかは今後の実験結果を待つことになります。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。