多言語の検索を小さくするPolDenseとEuroDense、パラメータ数を減らす話

論文

多言語の検索を小さくするPolDenseとEuroDense、パラメータ数を減らす話

スポンサーリンク

PolDenseとEuroDenseが公開。1B以下の検索モデルで9B級に迫る性能。

この記事のポイント

  • 多言語対応のコンパクトな検索モデルを開発
  • 教師モデルの生成ラベルのみで3段階学習
  • 1B以下では9言語中7言語で首位

数字で見る

この記事に出てくる数字

最大トークン数 8,192

どこで使えるか

1B以下のコンパクトな検索モデルを自前で用意したい人向け。教師モデルのラベルだけで学習可能 PolDenseとEuroDenseは公開済み PolDenseは6モデル、EuroDenseは9言語対応

スポンサーリンク

解説

かみくだいて説明します

S{\l}awomir Dadas, Rafa{\l} Po\'swiata, Ma{\l}gorzata Gr\k{e}bowiec, Micha{\l} Pere{\l}kiewiczらのチームが、ポーランド語とヨーロッパの言語に対応する小型の検索モデル、PolDenseとEuroDenseを公開しました。最大でおよそ 9B パラメータのモデルを上回る性能を示しています。
検索モデルというと、通常は巨大な言語モデルを使うものですが、どうして小型で同じような結果が出せるんですか。
巨大なモデルを教師にして、小さいモデルに教え込む訓練方法を三つの段階で組み合わせたからです。強い埋め込みモデルや再ランク付けモデルが正解のヒントを出し、小さいモデルがそれを真似る形で学習します。
教師モデルがヒントを出すというのは、先生が答えを教えるのではなく、先生が書いた解答用紙を参考に生徒が勉強するイメージですね。その訓練の三つの段階とは、具体的に何をするんですか。
一つ目が異なる言語の間で共通の構造を合わせる段階、二つ目が関係性の蒸留、三つ目が対比微調整です。対比微調整というのは、似たような答えの中から正しいものを選ぶ訓練で、例えば図書館で似たタイトルの本が並んでいる中で、探している一冊だけを正確に引き出す練習だと思ってください。
似た本の中から目的の一冊を引く練習ですね。その訓練を使うと、開発の現場ではどのくらいの手間が省けるんですか。
正解のラベルを最初から作らなくていいので、データ準備の工程が大幅に減ります。評価はポーランド語の41件と多言語の150件の検索タスクで実施し、PolDenseの1Bパラメータ版は最大9Bパラメータのモデルを上回りました。
ラベルなしで 150 件ものタスクをこなしたことになりますね。EuroDense はヨーロッパの 9 言語に対応していますが、 9 言語すべてでトップクラスな性能なんでしょうか。
9言語のうち7言語で一位を記録しています。一方、8,192トークンの長い文章を扱う場合の精度については、要旨に記述がありません。
長い文章だと精度が落ちる可能性があるんですね。開発者がこのモデルを自分のシステムに組み込むとき、動かすのに必要な計算資源については、どうなっていますか。
そこはまだ分かっていません。モデルのサイズは 17M から 1B パラメータ、EuroDense は 435M パラメータと明記されていますが、具体的な動作環境や必要メモリについては記載がありません。
では、最後に、このモデルが公開されることで、研究の現場ではどのような変化が期待できるんですか。
教師モデルの出力を監督信号として活用するため、ラベル収集の手間が省け、資源が限られた研究室でも多言語の検索モデルを構築しやすくなります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文