RAG-RSTが、事前学習なしで RST 解析の正解率を上げた
この記事のポイント
- 同じ節でも意図で関係が変わる
- RAG-RSTで例文を提示
- 動的取得が最も良かったが、50件超で低下
数字で見る
この記事に出てくる数字
| 例数上限 | 50 |
|---|
どこで使えるか
RST解析のラベル推論を自前で実装したい人向け。事前学習不要で正解率を上げられる arXivで公開済み 学習不要。50件超えると逆効果。
スポンサーリンク
解説
かみくだいて説明します
Mohammadreza SediqinさんとShlomo Engelson ArgamonさんがarXivに論文を発表しました。文章を構造的に分析するRST解析で、正解と一致する度合いを示すF1値を核性ラベルが0.794から0.846に、関係ラベルが0.738から0.788に引き上げました。
学習なしで数字が上がったんですか。文章の構造をどう定義しているんですか。
RSTでは文章を小さな単位に分解して木構造にします。各枝にはどちらが核心かを示す核性と、枝同士の関係名を付けます。例えばニュースの見出しと本文の組み合わせで、見出しが核心か本文が核心かを決めるようなものです。単語だけでは判断できず、正式なスキーマが必要です。
見出しと本文の核心の切り替えですね。既存のモデルではどこが足りなかったんですか。
大規模言語モデルにターゲットとなる単位ペアだけを渡すと、核性は0.794、関係は0.738程度しか出せません。パラメータを更新するのではなく、外部から手本を引っ張ってきて提示するRAG-RSTという手法で対応しました。
手本を引っ張ってくる方式なんですね。実際にどうやって手本を選んでいるんですか。
一つは解析の前に全ての例をラベル付けする方式です。もう一つは解析の途中で都度例を取得する方式です。後者は既に決めた手順に合わせて例が変わるため、常に最新の文脈に合った手本が届きます。
都度取得する方が強いんですね。例は何件くらいが限界なんですか。
例は50件を超えると効果が頭打ちになり、逆に下がります。また例の配置位置によっても結果が変わるため、構造的な位置が重要だと分かります。
50件で頭打ちになる理由は何ですか。配置位置が結果を左右する仕組みも教えてください。
50件を過ぎると情報が重複してノイズになるためです。配置位置は解析の手順が決まる段階で、次にどの例を見るかが変わるため、手本の質が変動します。この結果はスキーマを手本として提示するだけで十分であることを示しています。
手本提示だけで済むなら、開発側の負担はどれくらい減りますか。
学習なしで実演を与えるだけで精度が上がり、実演の数は五十件あたりで効果が止まって下がり始めます。
あわせて、今月には修辞構造理論に基づく談話構造の解析に取り組む別の研究も出ています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。