报告人：Prof. Michael Landy

整理人：任祥娟

审核人：张航

传统的线索整合

　　对于同一个物体，当眼睛所见和手指所感存在不一致时，我们的大脑该如何整合两个信息呢？Landy教授与其合作者(Landy, Banks, & Knill, 2012)提出两个刺激的似然函数（将以加权平均的方式进行整合，两者对应的权重与其可靠性（分布变异的倒数）成正比。最终得到的后验分布（图1中 ）将位于两个似然方程中间，更靠近测量值准确的分布，并且其对应的分布变异小于任何一个测量值的变异。）

图1 左图：传统线索整合实验范式，摘自Landy, Banks & Knill (2012)。右图：贝叶斯整合。 ：视觉刺激的高斯似然曲线； ：触觉刺激的高斯似然曲线；S：视觉和触觉刺激的后验分布。

研究问题

　　之前的研究表明，对于“两个刺激是否具有共同原因”的推断结果将影响刺激之间的整合和分离。Landy教授使用了腹语表演来佐证共同原因不明确的情况下视觉-听觉的整合：表演者在讲话的同时操纵木偶的嘴巴，营造出“木偶在讲话”的假象，在已知视觉噪音小于听觉噪音的前提下，根据线索整合，如果观众推断视觉刺激（木偶的面部活动）和听觉刺激（讲话声音）来源于同一个物体，他们会将两者整合（木偶在讲话）。这种现象被称为“腹语效应(Ventriloquist effect)”。反之，如果观众推断两种感官刺激源自不同物体（木偶和表演者），整合将不会发生。

　　此外，如果听觉和视觉刺激总是相隔一定的距离同时呈现，由于视觉刺激的噪音更小，被试知觉到的听觉刺激的位置总会偏向视觉刺激（腹语效应）；之后如果只呈现听觉刺激，被试知觉到的位置仍旧向视觉刺激的位置偏移，这种现象被称为“腹语后效应(Ventriloquist aftereffect)”，即听觉刺激的位置被重新校正。

　　在接下来的报告中，Landy教授探讨了注意是否会影响视觉和触觉的整合（腹语效应）以及重校正（腹语后效应）。

腹语效应（线索整合）实验及结果

　　在实验一中，Landy 教授组探究了注意如何影响视觉-触觉整合。

　　实验刺激位于被试左手手臂，其表面放置一块泡沫板，泡沫板上方每隔15mm放置一个发光二极管(LED)，相对应地，每个LED下方放置一个触觉刺激器，实验过程中被试的左手手臂被不透明玻璃板遮挡。在该装置上方，投影仪将光标投射至半透明板上，以便被试进行注视或者调节光标的位置。被试的任务是通过移动光标来报告刺激出现的位置。在一个试次中，刺激有三种组合形式（图2）：（1）视觉和触觉刺激同时触发，两者位置相同或者不同；（2）仅视觉刺激触发；（3）仅触觉刺激触发。除此之外，实验者还操纵了注意水平：（1）在刺激出现前，提示被试与反应相关的刺激模态（单感觉注意组）；（2）在刺激出现后，提示被试与反应相关的刺激模态（双感觉注意组）。在视觉-触觉刺激同时触发的试次中，被试除了报告提示刺激的位置外，还需要进行按键反应报告两个刺激是否出现在同一个空间位置。

图2 腹语效应实验流程图。

　　结果显示，在单感觉注意组中，如果提示刺激模态为视觉，且无论被试将两种刺激的空间位置推断为是否一致，被试的报告值与真实值几近吻合（图3中左侧橙色线与x轴重合）。而如果提示刺激模态为触觉，且被试的推断结果为一致时，报告值完全偏离真实值（图3中左侧蓝色空心圆圈），即被试的报告值与视觉刺激的位置重合；而在推断为不一致的情况下，被试的报告值较少受到视觉刺激位置的影响。

　　在双感觉注意组中，如果提示刺激模态为视觉，且无论被试将两种刺激的空间位置推断为是否一致，被试的报告值较少受到触觉刺激位置的影响（图3中右侧橙色线）。而如果提示刺激模态为触觉，在两种因果推断结果下，被试的行为均受到视觉刺激位置的影响，且推断为一致的情况下视觉刺激的影响更大（图3中右侧蓝色线）。

　　此外，按键结果显示，相比于单感觉注意组，双感觉注意组中的被试更倾向认为两种刺激来自于同一个位置，即线索整合的试次比例更大（图4）。

图3 位置判断任务结果。

图4 空间一致性判断任务结果。

　　实验一的结果证明，因果推断和注意均会影响刺激间的整合，且两者对于触觉位置判断的影响更大。视觉和触觉之间微弱的联结可以通过同时注意而被增强。

腹语后效应（重校正）实验及结果

　　在实验二中，Landy教授组探究了注意如何影响视觉-触觉间的重校正。

　　该实验分为三个阶段：（1）前适应阶段，在该阶段只给被试呈现一种刺激模态，并让被试报告该刺激的位置；（2）适应阶段；（3）后适应阶段，刺激、任务与阶段（1）相同。在适应阶段的每个试次中，视觉和触觉刺激均会呈现，且两者在空间上相距30mm。依据该阶段的刺激呈现形式和任务将被试分为三组：（1）非空间注意组：被试的任务是判断触觉刺激的时长是否比视觉刺激长；（2）单感觉注意组和（3）双感觉注意组的刺激和实验任务与实验一相同。实验者比较了被试在前适应和后适应阶段的行为差异。

　　实验结果如图5所示。当提示刺激模态为视觉时，被试的报告值与真实值重合，且适应前后无差异，即视觉刺激不能被触觉刺激重校正（图5橙色线）。当提示刺激模态为触觉时，被试的报告值总是小于真实值，且低估程度随刺激位置的右移而增加；当被试在适应阶段同时注意两种刺激时，后适应阶段被试的行为表现出更大程度的低估（图5蓝色线），即注意调控了视觉对触觉刺激位置的重校正。

图5 腹语后效应实验结果。

腹语效应的数学建模及结果

　　Landy教授接下来探讨了如何使用因果推理模型对两种效应进行建模。

　　因果推理模型使用贝叶斯推理框架，根据有噪音的测量值（被试知觉到的视觉刺激和触觉刺激的位置）推断具有共同原因(C=1)的因果结构与具有两个独立原因(C= 2)的因果结构的概率，以及两种结构下对应的两个刺激的位置(Körding et al., 2007; Landy et al., 2012)。基于此，Landy教授组尝试了各种理想观察者模型以及启发式模型的变体，以此作为决策规则来推断两个刺激是否来源于同一个位置，并且估计它们各自的位置。

　　模型比较结果显示，单感觉注意组和双感觉注意组的最优模型是相同的，但位置反应使用的决策规则是模型平均（理想观察者模型），因果结构判断则是启发式的。Landy教授还提到，最优模型中触觉刺激的先验为双峰分布。

　　模型仿真结果显示，模型中与注意相关的三个参数——视觉和触觉刺激的噪音()，以及两个刺激具有共同原因的先验概率(P_cc)共同影响被试对某一刺激的位置判断（图6），并且影响被试将两种刺激的位置知觉为相同的概率（图7）。最优模型对位置反应（图8左）和空间一致性判断（图8右）的预测结果与数据相吻合。此外，模型拟合的结果显示，相较于单感觉注意组，双感觉注意组中拟合到的感觉噪音()和共同原因的先验概率(P_cc)均增大。

图6 视觉（左图）和触觉（右图）位置反应任务中腹语效应的模型仿真结果。以视觉位置反应任务为例说明：（1）对于不同列，当视觉刺激的位置相对于触觉刺激由负变正时，腹语效应（线索整合）呈现先正后负的变化模式。当两种刺激的位置相同时，腹语效应为0。（2）对于不同行，当两个刺激具有共同原因(C=1)的期望变大时，腹语效应增大，即被试更倾向于将两者整合在一起。（3）对于每一个差值和期望值的组合，当视觉和触觉刺激的噪音增大时，腹语效应呈现非单调增加。

图7 因果结构推断的模型仿真结果。（1）对于不同列，推断具有共同原因(C=1)的因果结构的概率()随着两种刺激位置绝对值的减小而增大，当两者距离为0时，对应的概率最大，这与模型对空间一致性判断结果的预测相吻合。（2）对于不同行，随着先验概率(P_cc)的增大而增大。（3）对于每一个差值和期望值的组合，当两个刺激的位置相同时，随着视觉和触觉刺激噪音的减小而增大；而当刺激的位置差值逐渐增大时，随着视觉和触觉刺激噪音的减小而降为0。

图8 真实数据与模型预测结果。

腹语后效应的数学建模及结果

　　在对腹语后效应进行建模时，Landy教授假定重校正在试次间进行更新。对于每个试次，通过有噪音的测量值估计到的C=1和C=2的似然值将依据测量值和估计值之间的偏差进行更新。依据更新的方式，Landy教授组构建了三个模型：（1）更新发生在每个试次；（2）只有当推断出的C=1的概率大于0.5时才进行更新；（3）更新发生在每个试次，并且被C=1的概率所调制。

　　模型仿真结果显示，当 和更新速率增大时，三个模型均预测重校正的幅值增大。虽然三个模型均可预测双感觉注意组的被试具有更大的重校正，然而只有模型（2）的预测效应量与真实数据吻合。

总结

　　综上所述，Michael Landy教授组的研究证实腹语效应和后效应中视觉-触觉刺激有类似的整合模式，注意在两种效应中均起到了重要的作用——共同注意导致了感觉噪音的增加，并且提高了两种刺激来源于共同原因的期望。模型比较的结果证实位置反应基于贝叶斯最优因果推断，但空间一致性判断依赖于次优的启发式决策规则。

参考文献

Körding, K. P., Beierholm, U., Ma, W. J., Quartz, S., Tenenbaum, J. B., & Shams, L. (2007). Causal inference in multisensory perception. PLOS ONE, 9, e943.

Landy, M., Banks, M. S., & Knill, D. C. (2012). Ideal-observer models of cue integration. In J. Trommershauser, K. Körding, & M. S. Landy (Eds.), Sensory Cue Integration (Computational Neuroscience Series). United Kingdom: Oxford University Press.