ニューロンの活性化関数を選別する進化手法、単一遺伝子で多様なタスクを解く話

論文

ニューロンの活性化関数を選別する進化手法、単一遺伝子で多様なタスクを解く話

スポンサーリンク

ニューロンの活性化関数を選別する進化手法が、5つのタスクを100%同時に解けるようになった

この記事のポイント

  • CPPNで進化した基盤の限界が不明
  • ニューロモデュレーションと活性化選択を組み合わせる
  • 5タスク同時100%。ただし高arity課題には及ばない

数字で見る

この記事に出てくる数字

実験数 10,000以上
パーリティー天井率 75%
同時成功タスク数 5タスク

どこで使えるか

進化で多機能ニューロンを自前で組む人向け。単一関数では解けないタスクも克服 arXivで論文公開済み コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

Romain Claret さんたちの研究チームが、人工知能の進化システムに関する論文を発表しました。単一の遺伝子から多様な能力を引き出す方法として、神経調節と活性化関数の選択を組み合わせ、5 つのタスクをすべて 100% でこなすことに成功しました。
5 つ全部 100% なんですね。では、神経調節というのは具体的に何をすることなんですか?
神経調節は、配線そのものを変えずに、回路の働き方だけを書き換える仕組みです。生物の脳が、同じ神経ネットワークを使い回して異なる動作に対応するのと似ています。
配線はそのままに働き方だけを変える、と。では、それだけあれば何でもできるようになるんですか?
実験では 10,000 回以上試したのですが、神経調節だけでは不十分でした。単調な活性化関数だけを使うと、パリティという種類のタスクで成功率が 75% で頭打ちになるからです。これは表現能力の限界ではなく、進化の探査自体が壁にぶつかっている状態です。
75% で止まるんですか。なぜそこで行き詰まるんですか?
厳密には、同じ構造なら別の手法で 100% 達成できるからです。Adam という勾配降下法を使えば正確に解けるため、問題があるのは遺伝子を進化させる探し方そのものにあります。そこで研究者たちは、タスクごとに活性化関数を使い分ける方法を加えました。
なるほど。探し方の問題だったんですね。タスクごとに関数を変えることで、どう変わったんですか?
振動する性質の関数をパリティに、単調な関数をしきい値タスクに割り当てることで、30 すべてで 5 つのタスクを同時に 100% 達成できました。中央値 14 世代で収束しています。振動する関数の 4 つすべてが同じ結果を出しました。
30 すべて成功。では、この仕組みは作る側の技術者がすぐに組み込めるものなんですか?
論文にはコードの公開について明記されていません。そこはまだ分かっていません。ただし、進化させた遺伝子から複数の動作を同時に引き出す仕組み自体は、別の活性化関数のクラスにも一般化しています。
一般化するんですか。では、次はどんな課題が残っているんですか?
高次な演算や非対称のタスクでは、まだ同じ壁が残っています。多層構造の深さを増すことで代替できる道もありますが、open-ended な進化においては、計算の素自体を進化させる形質にすることこそが重要だと結論づけています。
最後に、研究している人から見ると、どこが新しい発見なんですか?
これまで別々の能力には別々の構造が必要と考えられていた部分を、単一の遺伝子で同時に表現できることを、 10,000 回以上の実験で示した点です。進化の設計思想そのものを変える提案になります。
設計思想を変えるんですか。では、今後の展開に期待します。
要旨には将来の標準化や今後の見通しについての記述がないため、要旨の内容に基づいて書き直します。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文