fMRIから画像と動画を再構築する Neurons++、視覚ストリームで統一した手法

論文

fMRIから画像と動画を再構築する Neurons++、視覚ストリームで統一した手法

スポンサーリンク

Neurons++が fMRI から画像と動画を再構築。コードとモデル重みを公開。

この記事のポイント

  • 視覚的妥当性だけでは脳活動の反映が不明
  • fMRIから空間・時間情報を直列で復元
  • 標準ベンチで最高。ただし画像は競争的

どこで使えるか

fMRI解析で脳活動の視覚的解釈を深めたい人向け。 GitHubで公開済み 画像と動画の両方に対応

スポンサーリンク

解説

かみくだいて説明します

Haonan Wangらの研究チームが、2026年10月10日に、脳のfMRIデータから画像と動画の両方を再構築するNeurons++を発表しました。従来の手法は動画だけでしたが、今回は静止画も対応し、脳の信号を空間・意味・言語・時間の4つの手がかりに順番に整理する仕組みに変更しました。
脳の信号を4つの段階で処理するんですか?
はい。まず画像と脳のデータを合わせて事前学習で基礎を固め、次に人ごとに細かく調整します。動画の再構築はこれまでで最高の結果を出し、画像の方も競争力のある数値を記録しています。
4段階で整理するんですか。数値は具体的にどれくらい変わっているんですか?
そこはまだ分かっていません。ただ、脳の信号に意図的にノイズを混ぜたとき、出力される画像や動画が方向性を持って変わることを確認しています。
方向性を持って変わるんですか。脳の信号を少し変えるだけで、出力の方向がコントロールできるんですか?
正確には、脳の特定の領域に注目するよう指示を出すと、その領域に関連する意味だけを変化させられます。例えば映像の特定の部分だけを書き換えるイメージです。
映像の特定の部分だけを書き換えるイメージなんですね。研究している人から見ると、これまで何ができていなかったんですか?
従来は脳の信号から画像を作っても、本当に脳の活動が反映されているか検証しにくい課題がありました。Neurons++は信号の変化と出力の変化を直接結びつける設計になっているため、検証がしやすくなっています。
検証がしやすくなるんですか。作る人として、手元で動かすのに何が要りますか?
コードとモデルの重みは公開されています。環境の詳しい要件まではそこはまだ分かっていません。
では、AIの画像生成を仕事で使っている人から見ると、どこが変わりますか?
生成AIの画像生成に脳の信号という新しい入力源が加わり、従来のテキストや画像からの生成とは異なる方向の制御ができることが示されました。
最後に、実用化の目処は立っているんですか?
基礎研究の段階であり、具体的な製品化の日程や医療現場への導入時期については、まだ分かっていません。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文