脳活動から見ている映像を復元する技術「Mind-Video」 シンガポールと香港の研究者らが開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 シンガポール国立大学と香港中文大学に所属する研究者らが発表した論文「Cinematic Mindscapes: High-quality Video Reconstruction from Brain Activity」は、脳活動から見ている映像を復元する手法を提案した研究報告である。磁気共鳴機能画像法（fMRI）で取得した脳活動から高品質な動画を再構成する。 脳活動からユーザーが見ている画像を復元する手法は、これまでにもいくつか報告されてきた。例えば、阪大などが発表した、画像を見せた際のfMRI信号から潜在拡散モデルで画像を生成する手法である。一方で

[kamei_rio]

"大規模な教師なし学習とマスクされた脳のモデリングを活用して、視覚的なfMRIの特徴を学習(中略)拡張したStable Diffusionを動画でトレーニングし、その後、注釈付きデータを用いてfMRIエンコーダーと一緒に調整"

[and_hyphen]

fMRIの信号でそんなことやれるのか…

[ys0000]

スパイは尋問ではなく脳をスキャンされるようになるね。眠らされてAIで上司から説明を求められた映像を表示し、その場面を復元する。

[ku__ra__ge]

「説明のギャップ」が死んじゃいそうな研究（心身問題は依然として解決しないが、取り立てて扱うべき『ギャップ』は無くなる）　https://ja.wikipedia.org/wiki/%E8%AA%AC%E6%98%8E%E3%81%AE%E3%82%AE%E3%83%A3%E3%83%83%E3%83%97

[deep_one]

「猫」「人」「鳥」のレベルでの再現。

[Seamless]

fMRIで取得の脳活動から見ている2秒間の映像(6フレーム)を再構築。