2024年10月23日，北京大学IDG麦戈文脑科学研究所PI学术交流会在吕志和楼338会议室举行。北京大学生命科学学院、IDG麦戈文脑科学研究所唐世明教授分享了其团队近期在视觉认知神经机制方面的研究进展，并同与会PI进行交流讨论。

　　PI学术交流会现场

　　不同于传统神经科学领域，具有工程学背景的研究者转入神经科学研究，一个主要的动力是为了理解大脑智能。视觉认知是大脑智能的基础，这不仅是因为有超过80%的感觉信息是经由视觉系统传入和加工，即使没有视觉输入的情况下，大脑也擅长使用想象进行思考，这提示在大脑中可能存在一个可运行的世界模型。近期，AI教父之一Yann LeCun也开始相信，思考的时候，你实际是在大脑中跑了个模型，因此他认为，实现强人工智能的关键是构建一个可模拟运行的世界模型。

　　从工程学的角度看，大脑就是一台物理机器，或者进一步就是一个电子线路系统。完全理解一个电路系统，最好是拿到一个电路原理图，并观测到其信号处理过程。然而这对于大脑来说实在是太难实现了，大脑神经线路规模庞大，到目前为止，美国的MICrONS项目斥巨资获得了1立方毫米小块小鼠视皮层的详细神经线路，近期果蝇的全脑神经线路重构也已经完成，而大动物的脑神经线路绘制则更加遥远。

　　在无法获得神经线路图的情况下，一个妥协的方案是进行神经编码研究。神经编码研究是视觉神经科学中一个传统研究思路，目的是搞清楚神经反应受何种视觉特征调制，包括神经反应对视觉特征的调谐曲线、选择性，如V1细胞的反应随线段朝向改变而变化，高级皮层对复杂形状的选择性等。

　　唐世明实验室的工作首先也是神经编码研究，实验室经过多年的技术创新和积累，发展了系列长时期稳定的神经活动记录技术，可以获得视皮层神经元对数万个自然图片反应的大数据。基于这些大数据，发展了一种数据驱动的研究范式，通过分析视觉神经元对大规模自然图片的反应，获得完整的、无偏的视觉神经编码。比如在初级视皮层V1中，分析V1神经元对大量自然图片的反应，可以看出，很多V1神经元并不只是简单的朝向调谐神经元，而是对圆弧、网格等复杂形状有很强的选择性。在V4研究中，使用宽场钙成像获得V4神经元群体对自然图片的反应大数据，通过DNN建模，发现V4存在一个详细的自然图片特征偏好地图。基于大数据的DNN模型有很高的预测精度，因此该模型可以被视为V4的数字孪生，可以在这个模型上进行各种模拟研究，最后再用实验加以验证。用这个方法，唐世明实验室获得了V4神经元群的关键特征，比如V4中的face区，实际上只是face元件区，编码face元件如鼻孔、眼睛等。

　　正在进行的工作推进到更高级的视觉皮层AIT，同样唐世明实验室首先使用宽场钙成像获得了AIT皮层对自然图片反应的大数据，然后使用一种新的局部聚类分析方法，获得了猕猴AIT皮层的精细功能图谱，包含各种特异的复杂形状特征，比如在面孔区，就存在多个子区，包括猴脸、人脸、侧脸，还有被竖条纹遮挡的脸、嘴部被遮挡或叼着东西的脸，而身体区也分成了很多亚区，比如向右方的身体、不同种类的鸟、蛇，以及关在笼子里的身体、抱着横条状物体的身体等。这些结果都展示了自然图片反应大数据驱动的研究范式，能够获得视皮层神经元完整的编码。

　　视皮层神经元对自然图片反应的大数据，不仅对于视觉神经科学研究有重要价值，对于人工智能研究同样也将是重要的数据资源，尤其是进行类脑智能研究，最起码的要求是得知道真实大脑神经元如何对自然图片做出反应。因此实验室近几年还将努力完成各级视皮层自然图片反应大数据的采集，也将使用高密度电极记录采集神经脉冲数据。

　　实验室未来的研究方向之一，是继续向更高级的皮层区域推进，找到视觉客体最终表征区域，并研究其编码机制。唐世明实验室利用双光子成像，已经在AIT中找到高度稀疏反应的神经元，将结合fMRI及高密度电极记录等方法，定位其下游神经元并研究其反应特性，目标是找到与人类大脑中发现的概念细胞对应的物体最终表征神经元。

　　近年来，受初级视皮层V1简单细胞和复杂细胞启发，深度学习网络利用简单的卷积加池化，结合反向传播的权值学习规则，在视觉分类任务中获得了很好的成绩。更进一步，Yamins和Dicarlo等人提出，深度学习可以很好拟合视皮层各级神经元的反应，这暗示，卷积加池化不仅是初级视皮层的基本计算机制，可能也是整个视觉系统计算的数学原理。不过，唐世明实验室的AIT大数据研究显示，DNN对AIT神经元的拟合是很差的，精度只能达到0.3左右。是否需要引入新的计算机制，或是只需优化现有DNN的参数或结构就能实现对AIT神经元反应高精度的拟合，这将是一个很有趣的研究课题。

　　实验室的另一个主要研究方向是内在表征，即没有外界物理刺激的情况下，观测和研究大脑内在神经活动，这是理解大脑智能的关键之一。工作记忆是一种比较直接的实验范式，在真实刺激消失的一段时间内，被试要在大脑中保持精神图像。前期实验室使用光点位置记忆范式，发现猕猴前额叶皮层神经元群通过线性编码，在大脑中存储序列位置信息。后期将采用更具灵活度的物体记忆，来研究大脑神经元保持物体记忆的神经编码机制。

　　在内在表征研究方面，实验室还将研究视觉想象的神经编码。据观察，猕猴在没有视觉输入的情况下，视皮层也是相当活跃的，通过DNN建模，已经能够通过脑皮层激活模式，较好地预测或重构对应的视觉刺激，这样就能知道猴子在想什么。通过奖励或跨通道线索诱发，可以使诱导动物在没有直接物理刺激的情况下，进行不同内容的想象，这种行为范式，比工作记忆更接近于思考或想象的本质。

　　同时唐世明实验室也没有完全放弃进行直接的神经线路机制研究，几年前，成功实现了清醒猕猴树突成像，能获得视皮层单个神经元的兴奋性输入信号，进而获得该神经元的局部神经线路连接和计算机制。目前该方案还存在谷氨酸探针稀疏转染以及与钙探针共转的技术问题。实验室也在尝试使用电压探针，研究视皮层神经网络中单个神经元之间的信号传递和计算机制，目前也还存在电压探针灵敏度低等问题，期待未来出现新的更加敏感的电压探针。

　　北京大学IDG麦戈文脑科学研究所PI学术交流会定期举行，旨在促进研究所各实验室之间的学术交流，加强跨学科研究的深度合作。