BabyLM 2026 でのデータ効率向上 Qiushi Engine、研究プロセスの再帰的改善

論文

BabyLM 2026 でのデータ効率向上 Qiushi Engine、研究プロセスの再帰的改善

スポンサーリンク

Qiushi Engineが BabyLM 2026 で 9 項目の総合評価を 42.25 に引き上げた

この記事のポイント

  • 1000万語のコーパスで学習した
  • 2世代でスコアが42.02から42.25に向上
  • 9指標の合計で通常継続より優位

数字で見る

この記事に出てくる数字

学習データ量 10M words
推論累積量 100M words

どこで使えるか

BabyLM 2026 での研究結果を参照したい人向け。原則の発見とモデル改善の報告まで。 Hugging FaceとGitHubで公開済み コードと研究記録もGitHubに付随

スポンサーリンク

解説

かみくだいて説明します

Shuxing Yangらの研究チームが、BabyLM 2026 Strict-Smallという小さな言語モデルを使って、学習に使うテキストを10百万語、合計で1億回の読み上げ条件で実験を行い、スコアを42.02から42.25に引き上げました。
10百万語という少ない文字数で、そこまでのスコアアップが実現したんですね。研究する人から見ると、どこが新しい成果だったんですか。
正確には、同じ内容を繰り返す場合と、言い換えて伝える場合で、モデルが文脈をどう使うかが違う点を見つけたことです。例えば、レシピの材料を並べるだけの場合と、調理の手順を順番に説明する場合では、次に何が必要かを読み取る力が変わるのと同じで、予測に必要な関係性を整理して学習させる仕組みを作りました。
予測に必要な関係性だけを整理して学習させる、という考え方ですね。
そうです。3段階目の実験では、元の文章を残したまま局所的な手がかりを隠し、特定の答えだけを正解として教えて、普段は隠す部分の予測も維持するようにしました。コードとモデルはHugging FaceとGitHubで公開されていますが、この仕組みを別のモデルに適用したときの効果の幅については、まだ十分なデータが揃っていません。
公開されたモデルのスコアは、2世代で42.02から42.25に上がりました。
9つの項目を合計したスコアは、2世代で42.02から42.25に上がりました。2世代目は2026年9月8日の公開スナップショットで、最も高いスコアを記録しています。
公開された時点の記録を更新したという結果ですね。AIを使う側から見ると、使っている道具のどこが変わりますか。
従来の大量データを使うやり方に取って代わる話ではなく、少ないデータでどう効率的に学習させるかという問いを、実験ごとに refining していくResearch RSIという考え方を示した点に位置づけがあります。例えば、自分の書いた文章を自分で読み直して修正する作業を、次の文章を書く段階でも繰り返すのと同じで、研究の手順そのものが段階的に良くなっていく仕組みです。
研究の仕組み自体を再帰的に改善していく、という話ですが、そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
そうです。実験で得た結果を、次の実験の設計に直接反映させる作業を、何回も繰り返すイメージです。
公開されているコードを基に、他のチームが並行して検証を進めている状況なんですね。
詳しい進捗についてはそこはまだ分かっていませんが、公開されているコードを基に、他の研究チームが並行して検証を進めている状況です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文