电影《盗梦空间》讲述了一群特工进入他人的梦境,从他人的潜意识中盗取机密,并重塑他人梦境的故事。在不久的将来,部分类似科幻场景或通过AI就能实现了。

近日,来自大阪大学的科学家通过读取大脑的扫描图像,AI能够重建人们看到的真实景象相近的图像。随着进一步的发展,该技术有望应用于多种场景,比如探索动物如何感知世界,甚至重现人的梦境等。相关研究成果将在近期举行的计算机视觉国际大会上公布

两位科学家招募了一群志愿者,让他们每人看一万张自然风景图(不是一次性看完)。看图的时候,志愿者躺在核磁共振扫描仪里,大脑摄像机会记录下所有的大脑活动。


(相关资料图)

科学家得到脑内活动数据后,根据大脑不同的活跃部位,分为两部分,一部分是初级视觉皮层信号,另一部分是高级视觉皮层信号。这些信号会化为简单线性模型里的小点点,但想画出能看懂的图来,只靠它们是不行的。

科学家们会用到热门的潜在扩散模型Stable Diffusion。这个AI我们之前提到过,只需要输入一段文字,它就能自动产生符合描述的图画。

研究中使用的Stable Diffusion由三结构组成,分别是图像编码器、图像解码器和文本编码器。科学家把初级视觉皮层信号映射到图像编码器上,接着将它解码,获得一张张320*320的小图,它们被称为Z;同时,科学家把高级视觉皮层信号映射到文本编码器上,再将它解码,获得相关文本C。最后,科学家把Z和C结合起来,一起输入给系统,生成图像Xzc。

结果发现,图像Xzc和志愿者看到的实际图像很接近,他们大脑里产生的画面差不多就是这样子。


上排为实际图像,下排为大脑活动转换出的图像

如果只看Z重构出的画面,会发现颜色很相似,但内容非常抽象;仅用C重构画面,东西是对的,但外形根本不像。只有两者结合,效果才特别好。

“在我们这项研究之前,还没有哪个研究人员尝试用扩散模型来重构视觉图像。” 他们颇为激动地告诉媒体。“我们的这项实验时第一个从生物学角度对模型进行定量解释。”

这篇论文发到推特上后,人们又激动又害怕,大呼AI已经能读取人心了。“很不错!什么时候我能把它用在我的猫身上?跨物种的交流很重要!”“我们可以通过它,重构我们的梦境吗?”

虽然科学家们都安慰公众,这不算读心术,但看着科技一步步发展到这样,还是有些毛骨悚然啊。自己脑子里想的话、幻想的场景,都能被科技捕捉到,宇宙中不再有能隐藏秘密的地方。