計算結果の場所を補正する手法、Byte Latent Transformer の推論精度を上げる話

論文

計算結果の場所を補正する手法、Byte Latent Transformer の推論精度を上げる話

スポンサーリンク

Byte Latent Transformerの計算結果の精度が、50Mパラメータで21%から57%に向上した

この記事のポイント

  • 計算結果の位置でパッチを開始しなかった
  • LZ77方式のルックアップテーブルでパッチ開始位置を決定
  • 12Mパラメータで正解率72%。ただしコード等では効果薄い

数字で見る

この記事に出てくる数字

学習データ 1.9GB

どこで使えるか

計算結果の精度を上げたい人向け。学習不要でモデルを選ばない 論文の記載なし

スポンサーリンク

解説

かみくだいて説明します

Nicolás Vera Zúñiga たちの研究チームが、Byte Latent Transformer という byte-level の言語モデルの仕組みを改良する論文を arXiv に公開しました。このモデルはテキストを小さな区切りで処理しますが、従来のルールだと計算結果の数字のところで区切りを飛ばすため、正確さが落ちていました。
計算結果を飛ばすのが問題なんですね。作る人から見ると、この新しい区切りのルールはどうやって決めるんですか。
直前の 2 文字の組み合わせを調べるテーブルを、ラベルなしの生のテキストだけで数秒かけて作ります。次の文字が直近の文脈と似ていない時に新しい区切りを始める仕組みで、特別な教師データも外部のモデルも要りません。
生のテキストだけで作れるのは確かに便利ですね。どれくらい正確さが変わるんですか。
12M のモデルで最終的な答えの正解率が 47% から 72% に上がります。50M になると計算結果の正解率が 21% から 57% 、最終的な答えが 60% から 90% に達します。
計算結果のところで大きく伸びるんですね。ただ、数学以外の分野では差が縮むとありますが、なぜ数学だけ特別に効くんですか。
数学の文章では計算の手順と最終的な答えの間に、内容が新しく変わる区切りが自然に現れるからです。従来のエントロピーという指標は目立たない数字に目が行きすぎるため、新しい内容が始まる場所を見逃していました。
エントロピーが数字に目が行きすぎるんですね。もう少しやさしく言うと、目立たない数字を飛ばすというのは具体的にどうなるんですか。
例えるなら、長い文章を要点だけまとめる時、伝わりにくい数字の羅列に時間を割いて肝心の結論を見失う状態です。新しい区切りのルールはその羅列をすっと通して、次の段落の始まりで一旦立ち止まるように処理します。
なるほど、結論をちゃんと見るための区切りですね。研究する人から見ると、このルールは他の分野のコードや文章にもそのまま使えますか。
散文では 1 文字あたりの情報量が減る効果があり、ソースコードや合成の実行跡では従来のエントロピーと同等の性能を示します。数学のように計算結果が明確に区切られる構造がある分野で特に効果を発揮します。
では、実際にモデルを動かす時に気を付ける点はありますか。
1M の小さなモデルでは明確な効果が出ず、また学習後にルールを切り替える手法や文脈を考慮する新型の予測子は期待通りの結果を残しませんでした。
最後に、実用化に向けて何がまだ見えていないんですか。
数学やコード以外では利点が縮小します。散文ではビット数が増加し、ソースコードや合成実行トレースではエントロピーが同等です。境界がどこに落ちるかの分析が、このパターンを説明しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文