Qwen3.5-4Bと遺伝的アルゴリズムの組み合わせが、ARC-AGI-2で正解数を6件に伸ばした
この記事のポイント
- LLMの生成プログラムは試行回数が限られる
- Qwen3.5-4Bで初期プログラムを生成
- LLMシード有りで60タスク中6件正解
数字で見る
この記事に出てくる数字
| LLMモデル | Qwen3.5-4B |
|---|---|
| LLM単独正解数 | 2 (3.3%) |
| GA追加正解数 | 4 (10.0%) |
どこで使えるか
ARC-AGI-2で正解を増やしたい人向け。LLMの生成プログラムを遺伝的アルゴリズムで進化させる arXivで公開済み DSLによる遺伝的アルゴリズムでLLM出力を改良
スポンサーリンク
解説
かみくだいて説明します
ARC-AGI-2のタスクでLLMがプログラムを生成する研究が増えますが、生成後のデバッグや検証に使える計算リソースが限られますよね?
確かにその通りです。推論コストを抑えるために試行回数を減らす現場の事情を共有しています。
でも、遺伝的アルゴリズムみたいに大量のプログラムを探索する方法では、結局ランダムすぎる初期値から始まってしまうんですか?
そうです。ランダム探索だけだと、解の近傍から始められないため、なかなかうまくいきません。
arXivに公開された今回の手法は、量子化されたQwen3.5-4Bモデルで初期プログラムを生成し、それを遺伝的アルゴリズムの種として使います。
そのアプローチって、具体的にはどういう仕組みなんですか?
独自に設計したDSLを導入し、突然変異や交叉が起きても常に実行可能なプログラムが作られるように構文レベルで制約しています。
変異しても必ず実行可能なコードになるんですか!
実際の性能向上はどのくらい期待できるんですか?
ARC-2公開評価セットの最初の60タスクで検証した結果、LLM単独では2タスク 3.3% を解きます。遺伝的アルゴリズムで進化させると追加で4タスクを解き、合計6タスク 10.0% の正解に到達します。
純粋な遺伝的アルゴリズムだけだとどうなるんですか?
LLMの種なしでは0タスクしか解けず、LLMの初期値提供が探索の成否を分ける明確な差として出ています。
でも、特定のDSLに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
要旨には、DSLは突然変異後もプログラムが有効で実行可能に設計されているとあります。DSLの設計コストやARC-AGI-2特有の構造への依存、汎用性の低さについての言及はありません。
自分で実際に試すにはどうすればいいんですか?
Qwen3.5-4Bで初期プログラムを生成し、遺伝的アルゴリズムで進化させてARC-AGI-2の60タスクを解いてみますか?
60タスクのうち6つを正解し、LLMのシードなしではゼロだったのが進化計算で追加4つ解けました。
計算リソースの壁を越える新しい枠組みとして、ぜひ発展を見守りたいです!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。