AliceAI-T5-35B-A0.6B の encoder-decoder アーキテクチャと MoE 活用の話

モデル

AliceAI-T5-35B-A0.6B の encoder-decoder アーキテクチャと MoE 活用の話

スポンサーリンク

AliceAI-T5-35B-A0.6Bの encoder-decoder モデルが公開。512 個の MoE expert を持つ。

この記事のポイント

  • エンコーダーデコーダー型でMoE層を持つ言語モデル
  • 各MoE層で512の専門家から8つを選択する方式
  • Hugging Face Transformersでtrust_remote_codeを指定して利用可能

数字で見る

この記事に出てくる数字

MoEエキスパート数 512
選択エキスパート数 8

どこで使えるか

Hugging Faceで公開済み trust_remote_code=Trueが必要

スポンサーリンク

解説

かみくだいて説明します

yandex が 2026-09-11 に、AliceAI-T5-35B-A0.6B という言語モデルを公開しました。パラメータの数は 34,35 billion で、encoder-decoder という構造に、MoE 層を組み合わせています。
34,35 billion というとかなり大きな数ですね。MoE 層というのは、中身がどうなっているんですか。
一つのチームに 512 人の専門家がいるイメージです。文章を処理するたびに、その中から 8 人だけを選んで仕事をさせます。全部を使わずに必要最小限の力量で動かすので、計算の負担を減らせます。
512 人中から 8 人だけを使うんですね。でも、専門家が 512 人も並んでいる理由が、まだ掴めません。
専門家は512人いますが、各トークンごとに8人だけ選ばれます。役割の種類に応じて、文法や知識、論理を扱う担当者が選ばれます。
役割を分けることで無駄を省くんですね。では、実際に動かす側から見ると、このモデルを自分の環境に組み込むのは難しいんですか。
Hugging Face の Transformers というライブラリを使って、finetune_example.py というスクリプトを走らせるだけで動きます。学習データには tatsu-lab/alpaca を使います。ただし、カスタムの構造を読み込むときは trust_remote_code=True という設定を必ず追加する必要があります。
設定を一つ追加するだけで済むなら、試しやすそうです。内部のベンチマークで性能を測っているんですね。
内部の基盤でベンチマークを回した結果が示されています。具体的なスコアの数値までは、公開されていません。
必要な部分だけ取り出せるなら、リソースの節約になりますね。
構造は encoder-decoder です。encoder だけを切り出して使う場合、AliceAIT5MoEEncoderModel という形で読み込みます。フルのチェックポイントから必要な部分だけ取り出す仕組みになっています。
公開されたばかりで、まだ情報が少ない段階ですね。最後に、開発者が次に注目すべき点はどこですか。
公開されたのは、343億パラメータと512のMoEエキスパートを持つモデルです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル