ループ型モデルの推論を局所的なノイズ除去で学習し、計算量を増やすほど難問を解ける手法

論文

ループ型モデルの推論を局所的なノイズ除去で学習し、計算量を増やすほど難問を解ける手法

スポンサーリンク

Looped Flowsが ARC-AGI-1 で 58.8%、ARC-AGI-2 で 12.2% の正解率を出した

この記事のポイント

  • 推論で反復更新するモデルは訓練が難しい
  • 局所的なノイズ除去で反復を訓練する
  • 6ベンチで先行モデルを上回る

数字で見る

この記事に出てくる数字

ARC-AGI-1精度 58.8%
ARC-AGI-2精度 12.2%
ベンチマーク数 6

どこで使えるか

反復推論で正解率を上げたい人向け。推論時間を増やすほど正解率が上がる arXivで公開済み コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Ayhan Suleymanzadeらの研究チームが、arXivに「Thinking with Looped Flows」という論文を発表しました。6つの推論ベンチマークで従来の最上位モデルを上回り、ARC-AGI-1のテスト精度が58.8%に達したとしています。
隠れた状態を何度も更新するというのは、前回出した答えを次に活かすということですね。では、今回の手法はどこで従来の課題を解決したんですか。
画像をノイズから少しずつクリアな形に整える訓練を繰り返すことで、隠れた状態が時間とともに必要な情報を蓄えるよう仕向けた点です。推論のときはこの確率の流れの速度を積分し、時間軸を細かく刻むほど計算量を増やせるようにしています。
確率の流れの速度を積分するというのは、まだ掴めません。もう少しやさしく言うとどうなりますか。
答えに向かって進む方向と速さを、小さな区切りごとに足し合わせて最終地点を決める計算です。前回までの隠れた状態と組み合わせて進むため、同じノイズから始めても進む道が変われば、複数の正解を同時に導き出せます。
複数の正解を同時に導き出せるのは、実務で使う側にとって大きい点ですね。では、このモデルを現場で動かすのに何が要りますか。
論文には訓練方法と推論の仕組みが示されていますが、公開されているコードや事前訓練済みの重みについては、そこはまだ分かっていません。ARC-AGI-2では12.2%の精度を記録していますが、これは従来のループ型モデルの記録を塗り替えています。
公開されていないとなると、自分で訓練をやり直す手間がかなりかかりそうです。従来のモデルと比べて、精度が頭打ちだった理由をもう少し詳しく聞かせてください。
訓練時に更新を1回か数回しか遡らない制約を、段階的に小さくなるノイズと共通のノイズでつなぐことで解消した点です。これにより最初の更新が後の更新を支えられなくなり、精度が伸び悩んでいた問題を回避しています。
なるほど。では、この手法が適用できるのは推論の段階だけですか、訓練時にも同じ仕組みが使われるんですか。
訓練時は段階的に小さくなるノイズと共通のノイズでつなぐ仕組みで回しますが、推論時は答えに向かって進む方向と速さを小さな区切りごとに足し合わせる形で動きます。
最後に、今後の展開について教えてください。
実用化に向けた具体的な手順はまだ示されていません。訓練の手順が公開されれば、研究チーム以外でも検証が進むでしょう。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文