AI 读脑炸裂，扫描大脑画面，Stable Diffusion 逼真复现图像

近日，一项研究声称能够用 Stable Diffusion 将大脑活动重建为高分辨率、高精确度的图像。相关论文被 CVPR 2023 接收，引起网友哗然，AI 读脑已经近在咫尺？

即便没有霍格沃茨的魔法，也能看到别人在想什么了！

方法很简单，基于 Stable Diffusion 便可视化大脑图像。

比如，你看到的小熊、飞机、火车是这样的。

当 AI 看到大脑信号后，生成的图像是下面的样子，可见该有的要点全有了。

这个 AI 读脑术刚刚被 CVPR 2023 接收，让圈友们瞬间「颅内高潮」。

太野了！忘了提示工程吧，现在你只需要用脑子去「想」那些画面就行了。

想象一下，用 Stable Diffusion 从 fMRI 数据中重建视觉图像，或许意味着未来可能发展为非入侵式的脑机接口。

让 AI 直接跳过人类语言，感知人类大脑中所思所想。

到时候，马斯克搞的 Neuralink 也要追赶这一 AI 天花板了。

无需微调，用 AI 直接复现你在想什么

那么，AI 读脑究竟如何实现？

最新研究来自日本大阪大学的研究团队。

大阪大学前沿生物科学研究生院和日本 NICT 的 CiNet 的研究人员基于潜在的扩散模型（LDM），更具体地说，通过 Stable Diffusion 从 fMRI 数据中重建视觉体验。

整个运作过程的框架也非常简单：1 个图像编码器、1 个图像解码器，还有 1 个语义解码器。

通过这样做，该团队消除了训练和微调复杂人工智能模型的需要。

所有需要训练的是简单的线性模型，将下部和上部视觉脑区的 fMRI 信号映射到单个 Stable Diffusion 成分。

具体来说，研究人员将大脑区域映射为图像和文本编码器的输入。下部脑区被映射到图像编码器，上部脑区被映射到文本编码器。如此一来可以这让该系统能够使用图像组成和语义内容进行重建。

首先是解码分析。研究中采用的 LDM 模型，由图像编码器 ε、图像解码器 D、文本编码器 τ 组成。

研究者分别从早期和高级视觉皮层的 fMRI 信号中解码出重建图像 z 以及相关文本 c 的潜在表征，将其作为输入，由自动编码器生成复现出的图像 Xzc。

接着，研究者还建立了一个编码模型，对来自 LDM 不同组件的 fMRI 信号进行预测，从而探索 LDM 的内部运作机制。

研究人员使用来自自然场景数据集（NSD）的 fMRI 图像进行实验，并测试他们是否能使用 Stable Diffusion 来重建受试者看到的东西。

可以看到，编码模型与 LDM 相关潜像预测精度，最后一种模型在大脑后部视觉皮层产生的预测精确度是最高的。

对一个主体的视觉重建结果显示，只用 z 重建的图像在视觉上与原始图像一致，但不能捕捉到语义内容。

而只用 c 重建的图像具有较好的语义保真度，但视觉一致性较差，使用 zc 重建的图像则可以同时具备高语义保真度和高分辨率。

来自所有受试者对同一图像的重建结果显示，重建的效果在不同受试者之间是稳定且比较准确的。

而在具体细节方面的差异，可能来源于不同个体感知经验或者数据质量的不同，而非是重建过程有误。

最后，定量评估的结果被绘制成图表。

种种结果显示，研究中采用的方法不仅可以捕捉到低层次的视觉外观，而且还能捕捉到原始刺激物的高层次语义内容。

由此看来，实验表明图像和文本解码的结合提供了准确的重建。

研究人员表示，受试者之间在准确性方面存在差异，但这些差异与 fMRI 图像的质量相关。根据该团队的说法，重建的质量与目前 SOTA 的方法相当，但不需要训练其中用到的 AI 模型。

与此同时，该团队还利用从 fMRI 数据中得出的模型来研究 Stable Diffusion 的各个构建块，例如语义内容是如何在逆向扩散过程中产生的，或者在 U-Net 中发生什么过程。

在去噪过程的早期阶段，U-Net 的瓶颈层（橙色）产生最高的预测性能，随着去噪过程的进行，早期层（蓝色）进行对早期视觉皮层活动的预测，瓶颈层则转向高级视觉皮层。

这也就是说，在扩散过程刚开始时，图像信息压缩在瓶颈层中，伴随着去噪，U-Net 层之间的分离出现在视觉皮层中。

此外，该团队正在对扩散不同阶段的图像转换进行定量解释。通过这种方式，研究人员旨在从生物学的角度为更好地理解扩散模型做出贡献，这些模型被广泛使用，但人们对它们的理解仍然很有限。

人脑画面，早被 AI 解码了？

多年来，研究人员一直在使用人工智能模型来解码来自人类大脑的信息。

大多数方法的核心，通过使用预先录制的 fMRI 图像作为文本或图像的生成性 AI 模型的输入。

例如，在 2018 年初，一组来自日本的研究人员展示了一个神经网络如何从 fMRI 录音中重建图像。

2019 年，一个小组从猴子的神经元中重建了图像，Meta 的研究小组在 Jean-Remi King 的领导下，发表了新的工作，例如从 fMRI 数据中得出文本。

2022 年 10 月，德克萨斯大学奥斯汀分校的一个团队表明，GPT 模型可以从 fMRI 扫描中推断出描述一个人在视频中看到的语义内容的文本。

2022 年 11 月，新加坡国立大学、香港中文大学和斯坦福大学的研究人员使用了 MinD-Vis 扩散模型从 fMRI 扫描中重建图像，其准确性明显高于当时的可用方法。

再往前倒推的话，有网友指出了「根据脑电波生成图像至少从 2008 年开始就有了，以某种方式暗示着 Stable Diffusion 能够读懂人的思想，简直太荒谬了。」

这项由加利福尼亚大学伯克利分校发表在 Nature 的论文称，利用视觉解码器可以将人的脑电波活动转换成图像。

要说追溯历史，还有人直接拿出 1999 年，斯坦福李飞飞的一项关于从大脑皮层重建图像的研究。

李飞飞也动手点评转发，称自己那时还是一名大学实习生。

还有 2011 年，UC 伯克利的一项研究使用功能磁共振成像（fMRI）和计算模型，初步重建了大脑的「动态视觉图像」。

也就是说，他们重现了人们看过的片段。

但是相比起最新研究，这项重建完全称不上「高清」，几乎无法辨认。

作者介绍

Yu Takagi

Yu Takagi 是大阪大学的一名助理教授。他的研究兴趣是计算神经科学和人工智能的交叉领域。

在博士期间，他在 ATR 脑信息交流研究实验室研究使用功能性磁共振成像（fMRI）从全脑功能连接预测不同个体差异的技术。

最近，他在牛津大学的牛津人脑活动中心和东京大学的心理学系，利用机器学习技术了解复杂决策任务中的动态计算。

Shinji Nishimoto

Shinji Nishimoto 是大阪大学的教授。他的研究方面是对大脑中视觉和认知处理的定量理解。

更具体地说，Nishimoto 教授团队的研究重点是通过建立自然感知和认知条件下诱发的大脑活动的预测模型来理解神经处理和代表。

有网友问作者，这项研究能否用于解梦？

「将同样的技术应用于睡眠期间的大脑活动是可能的，但这种应用的准确性目前还不清楚。」

看过这项研究后：摄神取念术（Legilimency）妥妥的有了。

参考资料：

• https://sites.google.com/view/stablediffusion-with-brain/

• https://www.biorxiv.org/content/10.1101/2022.11.18.517004v2

本文来自微信公众号：新智元 （ID：AI_era）