北师大刘嘉教授：认知神经科学如何打开AI的黑箱？

6月22日，北京智源大会认知神经基础专题论坛于线上举办，来自北京师范大学认知神经科学与学习国家重点实验室的毕彦超教授、北京大学心理与认知学院的方方教授、北京师范大学心理学部的刘嘉教授、北京大学计算机系的吴思教授、中国科学院自动化研究所的余山教授分别做了报告，共同探究认知神经科学能为AI带来什么启发。

第三位报告者是北京师范大学心理学部教授刘嘉，题目为《从认知到计算：认知神经智能科学》。在报告中，刘嘉教授首先回顾认知科学的历史，解释打开人脑黑箱的意义，然后通过一系列认知神经科学的实验范式和研究技术，揭示了深度神经网络的内部表征与算法以打开AI的黑箱，展示了人脑与类脑双脑融合的可能路径。

以下是演讲全文，编者做了不改变原意的整理。

今天我的报告主要围绕如何从认知神经科学对大脑的研究方法论，来理解深度神经网络的工作方式。

 一、行为主义

在AI里，我们通常会遇到图片识别的问题，我们把图片输入到训练好的CNN里，CNN告诉我们这是一匹马。这个过程是我们现在主流的深度神经网络所做的工作，采用行为目标导向，即在输入端和输出端建立关联，而把中间过程当成一个黑箱（Black Box）。

显然作为科学家，我们肯定有兴趣把它打开，但是问题是有必要吗？打开和不打开究竟对理解AI以及推动AI发展有没有帮助？

在心理学历史上也曾有类似的争论。关于刺激和行为之间关系的研究最早是由Pavlov（巴普洛夫）开展的，他称之为条件反射。即当铃铛和食物同时出现或者铃铛比食物稍微早一点出现的时候，这时候就可以建立刺激与行为的联系。即当食物不出现时，仅仅摇一下铃铛，狗也会分泌唾液。至于狗的大脑里面发生了什么，当时大家认为不重要，当成黑箱就好；而我们需要关注的是刺激和行为之间连接的法则。

这个观念从上个世纪三十年代一直到五六十年代都占据着心理学的主要地位，称为行为主义。行为主义有一个著名的黑箱隐喻，即行为主义代表人物Watson（华生）说过：

“给我一打健康的婴儿，一个由我支配的特殊环境，让我在这个环境里养育他们，我可担保，任意选择一个，不论他的父母的才干、倾向、爱好如何，他父母的职业及种族如何，我都可以按照我的意愿把他们训练成任何一个人物——医生、律师、艺术家、大商人，甚至乞丐或强盗。”

这句话背后的逻辑就是深度神经网络的“行为和目标导向”，翻译成心理学的术语就是“人是环境的产物”或者“智能是环境的产物”。

 二、Garcia效应

但是理解外部环境和行为之间的关系就够了吗？后继的研究表明这远远不够。Garcia（加西亚）曾经研究放疗所产生的负作用，如恶心呕吐等。具体而言，他给老鼠进行放疗，然后观察放疗之后老鼠的行为。Garcia发现了一个非常奇怪的现象，放疗后的老鼠中有一些老鼠开始拒绝喝水，再渴也不不喝水。Garcia深入了解后发现，那些拒绝喝水的老鼠的盛水容器是塑料瓶，而继续喝水的老鼠的盛水容器是玻璃瓶。

玻璃和塑料之间有什么区别？非常简单，因为玻璃瓶是没味的，而塑料瓶是有味的，也就是说老鼠把它恶心呕吐的症状和塑料瓶的味道联系在一起了，老鼠会“认为“自己呕吐是塑料瓶带来的。从表面上来看，这就是一个非常简单的刺激（塑料瓶的气味）和行为（呕吐）之间的联结，也就是我们刚才说的条件反射。但是！Garcia进一步发现，当他用类似气味的条件，比如闪光、铃声来试图形成老鼠不喝水的条件反射，发现怎么都建不成联结。也就是说老鼠只能把气味和它的呕吐建立联结，而不能把闪光、铃声来与它的呕吐建立联结。基于此，Garcia用生物准备性（biological preparedness）的概念来对行为主义提出了挑战。

生物准备性的核心有两点：第一，不是所有的刺激都能和反应建立联结；第二，有机体的学习潜能都被其生物学基础所约束。也就是说黑箱里面的东西制约了刺激和反应联结的形成。

正是Garcia这个实验使得我们开始研究老鼠的大脑里在“想”什么，狗的大脑里在“想”什么，于是认知科学由此诞生。科学家开始逐渐把大脑的黑箱打开，知识表征、注意力等概念就是认知科学在研究大脑机制时提出的认知概念。以前行为主义认为人只是环境的产物，现在我们知道，人不仅仅是环境的产物，而且也是环境的营造者，人有其自身的内部加工过程。同样，深度神经网络的内部表征与算法也必然影响刺激与行为的连结，也必然决定其智能的形态和本质。

之后认知科学和神经科学产生连接，我们开始了解认知模块和表征的生物学基础。基于认知神经科学过去20-30年的工作，我们开始理解视觉的产生机制。首先是初级视觉过程，对物体的线条、颜色、对比以及运动等特征进行初步分析。接下来是中级视觉过程，我们开始把物体从局部的信息整合成形状、表面、深度信息，最后我们把这些信息整合起来进入高级视觉过程，这时候我们就可以实现物体识别等。

认知神经科学帮我们打开了大脑黑箱的一部分。那么我们为什么不用认知神经科学的方法论和工具，来理解人工神经网络的功能模块和内部表征，了解人工智能背后的智能本质，获得可解释、可预测的AI？这里，我把这个思路称为人工智能的认知神经解析，即用认知神经科学的方法来研究AI。

 三、打开深度神经网络的黑箱

1. 人脑与类脑是否采用了同样的表征来完成任务

图灵测试从本质上来讲，是基于行为主义的逻辑——一个机器只要它在行为上达到人的水平，那么它就具有跟人一样的智能。但是从认知科学的角度，一个更本质的测试应该是：一个智能机器，是否具有与人一样的认知过程。例如，AI如今能够实现物体识别、目标检测等任务，但是AI使用的内部表征和人类是不是一样的？在这个研究，我们将具体回答两个问题：深度神经网络使用什么表征？这种表征和人类相似吗？

我们这里呈现一个性别辨别的任务，下图中左边的是女性，右边的是男性。但是如果我问，你是靠什么特征来进行判断的？他们头发的长短吗？他们的眼睛大小吗？他们脸型的外轮廓吗？还是什么？你可以反省自己到底是靠什么做的判断。

你会感受到这个任务很难，辨别性别很容易，但是理解究竟用哪些特征来做是挺难的。因为我们进行面孔认知加工是在无意识中完成的，不能被我们意识所觉察到。这里，我们采用认知神经科学的方法，即反向相关的方法（reverse correlation），通过结果来回推内部表征。

首先，我们分别把女性面孔和男性面孔取平均，得到女性和男性的平均脸。当我们从女性平均脸平滑的过渡到男性平均脸的时候，大家感受一下效果。

这动画给人一个感觉，你对性别的判断类似二分法。开始时是一张女性脸，后面是一张男性脸，中间是感知边界，我们心理的感受并不是随着图像的线形变化而发生线性变化的，而是二分法，前半部分全是女性，后半部分全是男性。这里，我们找到感知边界，生成一张中性脸。

接下来，我们训练一个能识别性别的VGG-Face网络。这个网络已经经过预训练，我们只做迁移学习，即把最后一层进行微调，对男性和女性的人脸做识别训练。很快，对性别识别的准确率就达到了百分之百。我们把中性的面孔拿出来加上随机噪音，然后再把这张照片输入VGG-Face，让它进行分类。添加噪音可以使中性脸被识别为男性脸或女性脸。我们识别了2万张照片，每张照片基底图是一样的，而添加的噪音不一样，这样我们可以得到一组被VGG-Face识别为女性的照片和一组识别为男性的照片。

我们把这些照片都贴上了标签，然后把原来的基底图去掉，只留下噪音，并按照性别的标签分别叠加在一起。下图就是VGG-Face把面孔识别为女性的面孔特征图。原来的随机噪音看上去无规则，但是通过reverse correlation就可以从噪音中提取出结构的信息。我们大致看到，这些信息主要集中在眼睛、鼻子和嘴这些地方，这些特征是VGG-Face将面孔判断女性的关键信息。

同样，我们可以把被判断为男性的噪音叠加在一起，得到关于男性的一张特征图。简单对比可以发现，判断为女性的特征图和判断为男性的特征图是不一样的，这两张图的模式很复杂。

我们把女性特征图和男性噪音特征图进行相减，得到识别特征图，这张识别特征图就是VGG-Face完成性别识别任务的内部表征，它认为这是把男性和女性分开的关键信息。我们把基底图即中性脸叠加上去，可以看到噪音特征图的极值点大致分布在眼睛和鼻子外侧，以及人中、嘴唇的下沿。

我们接下来把这叠加到基底图上，我们就得到了一个标准的男性脸。反之，如果我们把基底图减去这张识别特征图，就会得到一个标准的女性脸。所以我们通过这一系列操作就得到了VGG-Face用什么特征来进行性别判断。

如果把VGG-Face换成人，结果会如何？我们找人看了这2万张图片。在大部分情况之下，被试会说“我怎么知道他是男性还是女性？”我们说“没关系，你猜就是了，跟着感觉走，你觉得它是女性就按F，觉得是男性就按M”。于是被试带着困惑、不解和劳累，把这个实验给做完了。这是他们用于区分男性和女性的特征图。我们按照相同的计算，分别得到男性的标准脸和女性的标准脸。

我们发现在VGG-Face的特征图和人类的是非常类似的。事实上，如果我们对这两张特征图计算相关，可以得到0.73的相关度。从这个角度来讲，人类和VGG-Face用了类似的表征来完成性别识别的任务。

进一步，我们来看这个相似是发生在什么空间频率上。在研究中，添加到中性脸的随机噪音是有结构的，由不同空间频率的图组成，下图最左边是低频的，最右边是高频的，我们把低频和高频的信息叠加起来，给大家看到一个实验用的噪音图。

现在看在不同的空间频率下面，人和VGGFACE的特征图分别是什么样子。这些特征图也是非常相似的，而且相似度在低频上是最高的，随着空间频率的增加，人和VGG-Face的相似度越来越低。所以，VGG-Face和人类在完成面孔性别识别任务时，更多依赖于低频的信息。

简单总结一下，计算机视觉的奠基人之一David Marr提出我们应该从三个层面理解智能。第一个层面是实现的目标或完成的任务，比如这个实验做的就是性别识别任务，这是最高的层面。最低的层面是物理实现的层面，也就是用什么硬件实现。在这个研究里有两种实现的硬件，一个是VGG-Face，一个是人的大脑，这是两个完全不同的物理层面。

用物理硬件实现目标，中间还需要一个软件的层面，称之为表征和算法。表征和算法在输入和输出之间建立一种转换，这种转换就是智能。智能的本质就是表征。在上述研究里，表征就是把男性和女性区分开的特征图。

2. 类似的任务经验对于形成类似的表征十分重要

VGG-Face和人类用类似表征来完成性别识别任务，前提条件是什么？

面孔对于人类而言比较特别，我们看到一个面孔，通常需要识别出身份，即直接识别个体，即这是张三。但是对非面孔的物体，我们的识别通常是在类别层面，比如我们看到猫，只会说是一只猫，而不是说这是张三的猫。

其次是对面孔的识别更多依赖低频信息，比如心理学的负片效应，把照片的黑白值翻转，发现识别起来非常困难，同样把低频信息过滤，识别也非常困难。

因为VGG-Face是经过面孔识别预训练的任务；所以，VGG-Face与人有类似的表征，可能是因为上述这两个原因，即：（1）VGG-Face和人都是在个体层面上识别物体；（2）VGG-Face和人因为处理过大量的面孔，因此会对面孔的独特特征（如低频信息）敏感。

首先，我们来验证第一个可能性：共同的任务经验。这里，我们选择AlexNet。AlexNet也是预训练网络，它不做面孔识别而做物体分类，我们把最后一层微调，让它做识别男性和女性的分类任务，正确率93%。即，虽然AlexNet是用来训练物体分类的，但是也能够把男性和女性区分，正确率也相当高。

现在问一个有趣的问题，AlexNet在性别辨认上也能达到和人一样的准确度，但是AlexNet用的是和人类似的表征吗？我们来看AlexNet辨别男性和女性的特征图，如下图所示，肉眼能够辨别两者存在非常大差别，基本不相关，相关度等于-0.04。我们把它叠加到原来的基底图上去，得到的人脸也没有明显的性别特征。所以从这个角度来讲，我们发现AlexNet虽然能够区分男性和女性，但是它所用的表征是完全不一样的。

我们做进一步的空间频率分析，把噪音特征图分为不同的空间频率，可以看到，基本上AlexNet和人类的各频率的噪音特征图是不相关的。

回到实验的第一部分结论，我们发现预训练任务非常重要。为什么VGG-Face和人类在区分男性女性时用的表征是相似的？因为它们都被训练在个体层面上进行加工，而AlexNet是在类的层面上进行加工，从这个角度来讲，导致它们使用呢不同的表征。

这一点我们可以从进化的角度来理解。我们之所以从单细胞变成现在多细胞的动物，就是因为我们在不断地完成大自然交给我们的任务；一旦完成不了，那只有一个结果，就是基因被淘汰。也就是说，we are what we do。我们的智能是被我们过去所完成的任务所决定的。

总结一下：认知神经科学发展了一系列有用的工具和方法论以及实验范式，这些范式有助于我们了解深度神经网络内部特征和模块，得到可解释、可预测的深度神经网络。更进一步，认知科学、神经科学和智能科学的深度交叉所形成的认知神经智能科学将会为揭示智能的本质，提供一个新的视角。具体而言，一个理想的研究智能模式是：通过神经科学发现一个大脑工作的机理（Brain Inspiration），根据认知科学来来对该机理进行建模（Cognitive Modeling），然后用计算科学来开发一个计算复杂度适度的算法（Physical Implementation）来解决一个真实的现实问题。