Relational BabyLMが BabyLM 2026 で上位 55 件中 6 位。GPT-2 ベースラインを上回る性能。
この記事のポイント
- 標準注意力を分離型注意力に置き換えた
- 隠れ状態の圧縮を促す目的関数を追加した
- 10M語では同等、100M語では完全版が上回る
どこで使えるか
データ効率と構造的汎化を両立させたい人向け。10M語では同等、100M語で上回る
動画を見る
スポンサーリンク
解説
かみくだいて説明します
Adrian Brasoveanuらの研究チームが arXivに論文を発表しました。BabyLM 2026のチャレンジに向けて、データ量が少ない環境でも学習できる言語モデル Relational BabyLM を開発したということです。
なるほど。データが少ない中でどうやって性能を上げるんですか。
標準的な自己注意機構を置き換えた Dual Attention Transformer という構造を使っています。言葉の意味を扱う経路と、文の構造や関係性を扱う経路を分けました。
経路を分けるんですね。実際に動かすのに追加で何が必要か気になります。
学習に使うデータは 10M から 100M の範囲で試しています。その上で、過去の情報を密に圧縮する Next-Latent Prediction という学習目標も追加しました。構造が性能を大きく左右し、目標はそれに加わる形です。
構造が大事で、目標は補助なんですね。10M と 100M ではどれくらい差が出るんですか。
10M の段階では 3種類の関係性注意のタイプでほぼ同じ性能ですが、100M になると完全なタイプが頭を出します。GPT-2のベースラインを上回る結果が出ているものです。
GPT-2を上回るんですか。2つのモデルがほとんどのベンチマークで上回るんですか。
追加パラメータなしで記号を検索する仕組みも入れています。strictトラックで 55チーム中 6位、自然言語処理タスクだけだと 3位です。
追加パラメータなしで記号を扱うんですか。どうやって探すんですか。
辞書を引きながら、新しい記号をその場で探して使うイメージです。パラメータを増やさずに、既知の記号の集まりから必要なものだけを取り出します。
辞書から必要なものだけ引き出すんですね。最後に、今後の展開はどのようになりますか。
まだ実環境での動作検証は進んでおらず、どこまで一般のタスクに適用できるかはそこはまだ分かっていません。
出典
この記事のもとになった情報
- arXiv:Relational Attention for Data-Efficient Language Modeling
- 公開日:2026-09-18
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。