高家红课题组在Journal of Neuroscience上发表文章
揭示语言加工跨模态词-义捆绑机制
2021年3月9日，北京大学前沿交叉学院磁共振成像研究中心、物理学院医学物理和工程北京市重点实验室及麦戈文脑科学研究所高家红教授课题组在Journal of Neuroscience发表题为“A heteromodal word-meaning binding site in the visual word form area under top-down frontoparietal control”的研究论文(https://doi.org/10.1523/JNEUROSCI.2771-20.2021)，本研究入选为该期刊的Featured Research。结合多模态语言理解和表达任务的实验范式和功能磁共振成像技术(fMRI)，该研究发现在口语和书面语的单词层面理解与表达(听、说、读、写)加工过程中，位于枕颞交界皮层的视觉字形区间内(visual word form area, VWFA) 存在一个跨模态的词-义整合中心，并且该区域受到额顶认知控制网络自上而下的稳定调控。
语言是思维的工具和载体，口语、书面语或者手语等均为物理性质不同的语言外化形式，语言官能的核心加工过程之一是将词的深层形式与概念捆绑为一个有机整体。在我们进行语言表达时，这些有机整体被外化成不同模态的物理符号(例如声音和视觉文字)；在我们进行语言理解时，不同的物理符号被内化为这种有机整合的心理表征。人类语言所具备的整合能力与语义记忆共同驱动这种单词与意义之间的捆绑，并且这种加工在理论上受认知控制约束。过往研究普遍只纳入单一的语言模态(例如：口语或书面语)或单一映射方向(例如：单词至语义或语义至单词的映射)，少量证据提示前颞叶底部以及枕颞联合皮层可能扮演着跨模态词义整合中心的角色。另外，根据约束语义认知论，额下回、内侧顶叶和颞中回可能负责语义相关的认知控制 (图1)。长久以来，对于不同模态的语言外化形式以及不同的映射方向而言, 是否存在同一个跨模态的词-义整合系统以及这个整合机制如何联结认知控制系统，一直是困扰众多研究者的关键议题。
图1 理论假设
为了回答这个问题，高家红教授课题组首次将不同语言模态(口语和书面语)的两种词义映射方向(语言理解和语言表达)同时纳入实验范式(即听、说、读、写四个部分), 并且结合fMRI技术采集了100个被试的大样本数据(图2)。每个部分均包含目标任务和基线任务，其中目标任务旨在引导受试者进行词-义整合加工，基线任务则控制与该加工无关的过程(如基础视觉、听觉、心跳和呼吸等)。在语言理解任务中(听和读)，受试者的目标任务是判断听到或看到的单词是否是一个生命体，基线任务是判断听到的无意义语音来自男性还是女性和判断屏幕上呈现的词包含两个还是三个汉字。在语言表达任务中(说和写)，受试者的目标任务是看图说出或写出对应的单词，基线任务是重复诸如do re mi等无意义的音节和抄写屏幕上呈现的单字词。
图2 实验范式
尽管听、说、读、写四部分词-义整合任务广泛激活了以往文献发现的大部分额顶叶区域，对四个部分激活脑区联合分析显示，不同模态的语言理解和表达任务的共同激活区域位于枕颞联合皮层中后部, 与广受争议的阅读特异功能区(VWFA)重合，并且落在语言加工双流模型提出的词汇界面的范围内。为了探究共同激活区与语义控制网络之间的关系，进一步的功能连接分析表明，VWFA在不同语言模态的理解和表达任务中，主要受到来自额下回特别是内侧额叶交界自上而下的稳定调控，并且在语言理解任务中呈现更多的双向交互。课题组还利用静息态七网络脑模板对激活区域进行了分类，发现该共同激活区属于背侧注意网络而额下回激活区域属于额顶叶控制网络。（图3）
图3 实验结果
综上所述，该研究揭示了跨模态的词-义整合中心及其与认知控制系统之间的互动关系。该结果挑战了视觉字形区仅仅特异于阅读或一般视觉加工的经典理论，揭示该区域的本质或为多模态信息整合，故而在阅读过程中被借调用于视觉字形处理，毕竟究其根本，视觉字形处理需要对视觉、语音和语义概念等多种信息进行系统整合。并且，该结果还为语义控制系统如何调控语义加工提供了全新的结果，强调了语义控制机制与语义表征之间的相互关系在相当大的程度上独立于模态和任务类型。
高家红教授课题组的博士后覃朗和已毕业的博士生吕柄江是该论文的共同第一作者，高家红是该论文的通讯作者。课题组在读博士生舒苏、已毕业的博士生殷雅彦、北京大学磁共振成像研究中心葛鉴桥博士、首都医科大学三博脑科医院王雄飞博士以及香港大学语言学系萧慧婷博士在该论文数据采集和解析上做出了重要贡献。本研究得到了国家自然科学基金委和北京市科委脑科学计划专项基金的资助。
相关文献
Qin, L., Lyu, B., Shu, S., Yin, Y., Wang, X., Ge, J., Siok, W. T. & Gao, J. H. (2021). A heteromodal word-meaning binding site in the visual word form area under top-down frontoparietal control. Journal of Neuroscience. (https://doi.org/10.1523/JNEUROSCI.2771-20.2021)