151Mパラメータのトルコ語モデル ufakzeka-1 をゼロから作る過程と、その評価方法

論文

151Mパラメータのトルコ語モデル ufakzeka-1 をゼロから作る過程と、その評価方法

スポンサーリンク

ufakzeka-1が公開。151M パラメータのトルコ語モデルで、Apache-2.0 ライセンス。

この記事のポイント

  • 小規模モデルの限界が不明
  • 151Mパラメータの模型を構築
  • 長文追跡はデータ変更で改善せず

どこで使えるか

○「小規模モデルの限界を調べたい人向け。単一シード比較は信頼できない コードの公開は記載なし 182Mはembeddings込み

スポンサーリンク

解説

かみくだいて説明します

1億5000万パラメータ程度の小規模モデルをゼロから作るって、そんなに簡単ですよね?
確かに、クラウドGPUの料金が下がったとはいえ、135億トークンのデータで事前学習を完走させるのは容易ではありません。総コスト約286ドルで完遂した記録と、5508件の会話による厳密な評価がその証です。
既存の小規模モデル開発って、結局コストが膨らんだり、評価が甘かったりしませんか?
その通りで、データ漏えいやシード値によるばらつきを無視すると実戦性能が全く予測できなくなります。開発プロセスの透明性と再現性を担保する仕組みが求められていたのです。
arXivで公開されたufakzeka-1は、約286ドルという驚異的なコストで151Mパラメータのトルコ語LLMを構築し、3段階の事前学習スケジュールと公開ライセンスデータの混合による後訓練を行っています。
そのアプローチって、具体的にはどういう仕組みなんですか?
核心的なのはトルコ語のバイトレベルトークナイザーで、1語あたり1.77トークンに圧縮しています。3段階の事前学習スケジュールと、公開ライセンスデータと生成データの混合によるポストトレーニングを行っています。
1語あたり1.77トークンって、かなり効率的ですよね!
1.77トークン/語という効率的なバイトレベルトークナイザーが、3段階の事前学習スケジュールと相まって構築されています。
実際、5,508件の会話データで評価した結果はどうだったんですか?
安全ガードレール試験では不正なデータで修正したとされるモデルが64件中64件正解だったのに対し、本来の基準では34件しか正解しませんでした。開発コストは約286ドルに収まり、シード値の変更による性能差がレシピ変更による差と同程度になるため、単一シードでの比較は意味をなさない実証がなされています。
評価基準によって結果がこれだけ変わるんですか?
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。長文コンテキストにおける正体追跡や多ターン計算はデータを変更しても一切向上しませんでした。これはデータ不足ではなくモデルサイズの限界であり、次のより大きなモデルが検証することです。
自分で試すにはどうすればいいんですか?
重み、データレシピ、評価コード、経費明細がすべてApache-2.0で公開されています。データビルド内でデコンタミネーションを実施し、ビルド前にチェック済みスクリプトで評価を強制しているため、ぜひ試してみてください。
次のより大きなモデルが検証する予定ですが、小規模モデル開発の設計指針として参考になるかもしれません。
コストと透明性を両立させたこの開発手法が、他の小規模モデル開発にも参考になるかもしれません。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文