RWKVの長期予測を改善するHART、リカレントと注意機構を組み合わせる手法

論文

RWKVの長期予測を改善するHART、リカレントと注意機構を組み合わせる手法

スポンサーリンク

HARTが、RWKV の長期予測の劣化を hybrid な構造で改善。36M パラメータで 1B モデルに迫る性能。

この記事のポイント

  • RWKV-7は長期予測で精度が落ちる
  • AttentionとRWKVを交互に配置した
  • 36Mパラメータで1Bモデルに迫る

数字で見る

この記事に出てくる数字

パラメータ数 36M
パラメータ比 1/28

どこで使えるか

長期予測で精度が落ちるRWKVを改善したい人向け。36Mパラメータで1Bモデルに迫る性能。 コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Qingwen Linらのチームが、2026-10-09に時系列データの未来を一度の計算で予測する新しいモデル「HART」を発表しました。パラメータ数は36Mで、長い未来の予測精度が、およそ1/28のパラメータ数を持つ既存モデルと同等の水準に達しています。
一度の計算で未来全体を予測するんですか? 作る側からすると、計算回数を減らせるのは大きなメリットですよね。
その通りです。ただ、従来のRWKV-7というモデルでは、未来を予測する段階で過去の情報がだんだん薄れてしまう問題がありました。専門用語でPlaceholder Idling Decayと呼んでいるのですが、要するに、新しいデータが入ってこない状態で繰り返し計算を回すと、記憶がすり減っていく仕組みです。
記憶がすり減るんですか。そこがまだ掴めません。新しいデータがないのに計算を回すのは、なぜ必要だったんですか?
未来の値を連続して出すためです。天気予報で明日の気温を出すとき、明後日の計算には明日の値を使う必要がありますよね。HARTはこの部分に、Attentionと呼ばれる仕組みを混ぜ合わせました。Attentionは過去のデータを直接参照できる性質があるので、RWKVの繰り返し計算で失われかけた情報を、いつでも取り戻せるようになります。
過去のデータを直接見られるんですね。研究している人から見ると、純粋なRWKVと比べて、どこが一番改善したんですか?
中長期の予測精度が明確に上がっています。実験では、純粋なRWKVモデルより精度が向上し、同じ大きさのTransformerモデルよりも総合的なスコアが上回りました。GIFT-Evalという評価基準で測った結果、長い未来の予測誤差を示すMASEという数値が0.752を記録しています。同じくGIFT-Evalで測ったToto-2.0-1Bが0.754なので、ほぼ同じ水準です。
0.752ですか。純粋なTransformerより総合的に良いんですか。では、このモデルを実際に組み込む場合、動かすのに何が要るんですか?
現時点では、モデルを動かすための環境と、時系列データを数値に整形する前処理の手順が必要です。具体的な動作環境やコードの公開状況については、そこはまだ分かっていません。
コードは公開されていない可能性があるんですね。使う側として気になるのは、精度が上がった代わりに計算時間は増えるんですか?
短い未来の予測では、従来のRWKVとほぼ同等の精度を維持しています。Attentionブロックを挟むため計算構造が変わりますが、一度の通過で未来全体を出せるため、必要なステップ数は減っています。
全体としては速く動くんですか。最後に、この研究の次の段階として、どこがまだ解けていないんですか?
短い先の性能は保てていますが、より長い先でも元の RWKV より改善しており、同じ規模の Transformer より全体の成績が良いことも確かめています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文