撰稿：李昕彤，审核：李健

2026年7月11日，受北京大学IDG麦戈文脑科学研究所邀请，来自普林斯顿大学的Nathaniel Daw教授在王克桢楼1113作题为“Automated Discovery of Interpretable Cognitive Models”的学术报告，由李健研究员主持报告。

一、引言：预测能力与可解释性之间的张力

计算模型是沟通心理学理论、行为数据与神经机制的重要桥梁。传统认知建模大多遵循理论驱动的路径：研究者先提出关于学习机制的假设，将其形式化为模型，再利用行为数据估计参数、比较不同理论。然而，随着行为数据规模扩大和机器学习方法发展，人工构建的模型往往难以充分解释行为中复杂而细致的规律；表现力更强的神经网络虽能提高预测准确性，其内部计算却不易转化为研究者能够理解的心理机制。Daw教授围绕这一矛盾提出：人工智能能否不只用于拟合数据，还能帮助研究者找到结构简洁、含义清楚、便于理解和解释的认知模型？讲座先介绍将人工神经网络嵌入认知模型的混合建模方法，继而讨论大语言模型驱动的程序搜索，展示人工智能如何辅助研究者提出、筛选和比较认知模型。

二、神经网络与认知模型的混合建模：记忆如何塑造人类奖赏学习

1. 经典强化学习模型面临的挑战

讲座首先以人类奖赏学习为例回顾经典强化学习框架。在多臂老虎机任务中，被试反复选择不同选项，并获得大小随时间变化的奖赏。经典Q-learning模型用Q值表示各选项的预期奖赏。被试作出选择并获得反馈后，模型根据实际奖赏与原有预期之间的差异，即奖赏预测误差，逐试次更新所选项的Q值，再通过Softmax函数将各选项的Q值转换为下一试次的选择概率。这类模型结构清晰，并与多巴胺系统所编码的奖赏预测误差信号建立了重要联系，因此长期以来一直是奖赏学习研究的基准模型。

关键在于，人类是否真的只依赖少数价值变量来概括全部过往信息。既有研究发现，某一次具体反馈、奖赏序列的变化趋势以及整体奖赏范围，都可能持续影响后续选择；在预测表现上，不受特定认知理论约束的循环神经网络（RNN）也明显优于传统强化学习模型。这提示，经典模型可能遗漏了人类记忆和使用过往信息的某些机制。方法上的困难是：RNN可以从数据中学得复杂的记忆结构，却将计算过程分散在高维内部状态和大量参数之中，难以说明具体的心理机制；传统认知模型易于解释，却可能无法充分拟合行为。讲座由此提出两条互补路径：一是将人工神经网络嵌入具有明确心理学含义的认知模型，二是让人工智能生成和修改研究者能够阅读、分析的模型程序。

图1 奖赏学习的认知建模框架与实验任务 (Eckstein et al., 2026)

2. 从RL-ANN到Memory-ANN：检验经典模型的关键假设

Daw教授首先介绍了他与合作者近期发表在《Nature Human Behaviour》上的一项研究。该研究采用大规模的非平稳多臂老虎机任务数据，包含862名有效参与者、4,134个任务区块和617,871个有效试次，任务中各选项的平均奖赏随时间缓慢变化。研究者首先比较表现最好的传统强化学习模型与不受认知结构约束的RNN，确认后者能够解释更多选择行为的差异。随后，他们构建了RL-ANN模型：保留由Q值预测选择的基本结构，仅交由人工神经网络学习Q值的更新规则。尽管RL-ANN比传统模型更为灵活，其预测表现仍未达到一般RNN的水平。进一步检查神经网络学得的更新规则可以发现，它与标准Q-learning的更新方式较为接近，只在奖赏与Q值的对应关系上表现出轻微的非线性偏离。因此，仅仅将固定学习率替换为更复杂的非线性更新函数，并不能解释RNN的优势。

研究者进而提出Memory-ANN，将“过往奖赏和选择如何被记忆”与“记忆信息如何影响当前选择”区分开来。模型分别从奖赏历史与选择历史中形成灵活的记忆表征，再由结构较为简单、含义明确的决策部分将这些信息转化为各选项当前的Q值。Memory-ANN的预测准确性与一般RNN相当，同时仍可分别考察各组成部分的作用。结果表明，解释人类奖赏学习所需要的并不是对单一奖赏预期作更精细的误差修正，而是一组能够保留丰富过往信息、并间接调节选择的记忆表征。也就是说，模型先保存每次选择及其结果的具体信息，再依据更长时段的任务背景，动态决定这些信息应当如何影响当前选择。

图2 神经网络与认知模型的混合结构及其预测表现 (Eckstein et al., 2026)

3. Memory-ANN揭示的记忆机制

对Memory-ANN的进一步分析揭示了这些记忆表征的作用。模型在估计最近选择过的选项时，主要依据最近一次获得的奖赏，而不是对历次奖赏进行缓慢的加权平均。同样大小的奖赏也会因更长时段的奖赏历史与选择历史而产生不同影响，例如整体奖赏范围会改变该次奖赏对后续选择的作用。模型还复现了人类行为中持续选择同一选项、阶段性探索以及偏好奖赏递增序列等特征。由此可见，混合建模的意义不仅在于提高拟合优度，更在于通过有针对性地改变经典模型的组成部分，判断哪些理论假设需要放宽，哪些结构仍有必要保留。

三、DataDIVER：利用大语言模型生成并筛选认知模型

1. DataDIVER的程序搜索框架

上述混合模型仍需由研究者预先规定总体架构，其结果也需要大量人工分析。Daw教授及其合作者进一步提出DataDIVER（Data-driven Discovery of Interpretable Models Via Evolutionary Refinement），尝试把模型提出、修改和筛选中的更多步骤交由人工智能完成。该方法从一段可以运行的认知模型程序出发，由大语言模型读取任务说明、已有程序及其拟合结果，并据此生成新的候选代码；AlphaEvolve负责维护候选程序库，反复调用大语言模型对程序进行修改、重组和完善。每个候选程序都要拟合被试的选择数据，并通过交叉验证评价其拟合优度，表现较好的程序才进入下一轮搜索。

图3 DataDIVER的两阶段程序搜索流程 (Kasenberg et al.,2026)

这一过程并非一味追求更高的预测准确性，而是同时考虑拟合优度与可解释性。程序若过于复杂，即使能够更好地拟合数据，也可能包含大量重复代码和难以理解的运算。DataDIVER因此分为两个阶段：第一阶段以提高拟合优度为目标；第二阶段在保证模型表现不低于预设标准的前提下尽可能简化程序，并用代码长度和运算复杂度等指标衡量简洁程度。最终得到的不是唯一的“最优模型”，而是一组在拟合优度与程序复杂度之间作出不同权衡的候选模型。研究者既可以选择预测表现略低但计算机制更为清楚的模型，也可以比较多次独立搜索中反复出现的共同机制。

2. 人类奖赏学习中的新机制

DataDIVER被用于分析五个数据集，涵盖人、大鼠、果蝇和猴的多臂老虎机任务，以及大鼠的两步决策任务。在未参与模型训练的被试数据上，DataDIVER生成并筛选出的候选模型对选择行为的预测均优于各数据集已有的人工构建模型；这些模型生成的模拟数据也能更好地再现过去若干试次对当前选择的影响。更重要的是，经过简化的模型程序仍保留了大部分预测优势，说明良好的预测表现并不必然依赖难以理解的复杂结构。

在人类多臂老虎机数据中，多次独立搜索得到了一项稳定结果：对于刚被选择的选项，模型几乎直接用本次获得的奖赏替换其原有Q值，类似于工作记忆对最近结果的快速保存，而不是对历次奖赏进行逐步累积。与此同时，未被选择选项的Q值也会朝近期奖赏水平缓慢调整，相当于以最近的奖赏为参照，重新估计其他选项的相对吸引力。

图4 人类多臂老虎机任务中所选项与未选项的不同更新方式 (Kasenberg et al.,2026)

这两种更新方式对行为产生了不同时间尺度的影响：最近一次获得的较高奖赏会促使被试重复刚才的选择；但在更早若干试次获得的较高奖赏会相对抬高其他选项的Q值，降低被试再次选择当前选项的概率。研究者利用滞后回归重新分析真实行为，观察到了DataDIVER所预测的这一模式。概括而言，所选选项近似直接记住本次奖赏，类似工作记忆；未选选项的价值也会参照近期奖赏作出调整；因此，更早获得的较高奖赏反而可能抑制对当前选项的再次选择。

图5 过往奖赏对重复选择倾向的时间滞后效应 (Kasenberg et al.,2026)

3. 跨物种比较：相似任务可能依赖不同机制

跨数据集结果显示，同一套搜索方法并不会把不同物种的行为都解释为同一种算法。在大鼠多臂老虎机任务中，DataDIVER生成的模型仍包含多个学习系统，但这些系统并非彼此独立，而会相互调节；每个系统也分别记录两个选项的价值，而非只用一个变量表示两者的相对偏好。在果蝇任务中，模型保留了依据预测误差学习的基本形式，但学习速度会随此前的选择而变化。模型为此保存一个反映某个气味选项近期被选择频率的短期记忆信号，论文将其称为eligibility trace，即对近期选择的短期记录；模型利用这一信号调节之后的学习速度。

大鼠两步决策任务并不是两个多臂老虎机任务。在每个试次中，大鼠先作出第一步选择，该选择以一定概率进入不同的中间状态，随后在第二步得到或未得到奖赏。由于第一步动作与最终奖赏之间隔着概率性的状态转移，这一范式可以区分两种学习方式：基于模型的强化学习会利用动作与状态之间的转移关系推算哪种选择更有利；无模型强化学习则主要依据过去选择是否获得奖赏来调整偏好。DataDIVER生成的模型通常同时包含这两种成分，不过移除无模型成分往往不会明显降低拟合优度。

猴多臂老虎机任务还专门考察了图像新颖性如何影响探索。猴需要在三个图像选项之间作出选择，实验过程中会定期加入一个奖赏概率未知的新图像。以往模型通常给新选项附加固定的“新颖性加成”，并将它与预期奖赏合并为同一种价值。DataDIVER生成并筛选出的模型则用两类变量分别表示这两种信息：一类变量估计各选项的平均奖赏；另一类变量表示图像的新颖程度，新图像初次出现时数值较高，随后随暴露次数增加而逐渐降低。这样既能解释猴在新选项刚出现时较强的探索倾向，也不必假设新颖程度与奖赏价值以完全相同的速度变化。此外，当各选项的平均奖赏较为接近时，模型预测猴的选择会更为随机。由此看来，探索行为并非由单一参数决定，而可能同时受到奖赏学习、图像新颖程度和选择不确定性的影响。

图6 猴多臂老虎机任务中平均奖赏与图像新颖程度的分别表征 (Kasenberg et al.,2026)

四、总结与展望

本次讲座介绍的两项工作构成一条逐步推进的方法路线。第一项工作将拟合能力较强的人工神经网络嵌入具有明确功能划分的认知模型，通过逐步改变经典模型中的既有假设，并比较不同模型的预测表现，判断经典理论究竟在哪一环节无法充分解释行为。第二项工作则让大语言模型直接生成和修改研究者惯用的计算模型程序，并从兼顾拟合优度与简洁性的搜索结果中，提炼出有关心理机制的候选解释。二者都强调，准确预测行为只是科学发现的起点。一个有解释力的模型还应当具有清楚的计算结构，能够提出区别于既有理论的预测，并由原始数据或新实验加以检验。 

不过，由人工智能生成和筛选模型，并不意味着科学家可以退出研究过程。模型程序是否易于理解，仍取决于任务如何编码、初始模型如何设定、评价指标如何选择，以及程序复杂度如何衡量；不同候选模型也可能对现有数据给出近似相同的解释。大语言模型熟悉领域文献中的常见概念和编程习惯，因此其中看似新颖的机制仍需与既有研究和其他可能解释进行严格比较。讲座最后展望了将模型生成、模型筛选与实验设计连接起来的研究流程：先由系统提出候选机制，再选择最能区分这些机制的实验条件，最后把新数据用于下一轮模型比较。只有经过预测、实验与修正的反复循环，人工智能工具才可能由高效的数据拟合进一步参与经验科学中的理论研究。

总体而言，本次讲座以模型的预测能力与可解释性之间的矛盾为主线，重新审视了经典强化学习模型对人类和动物奖赏学习的解释。神经网络与认知模型的混合建模表明，传统模型缺少的关键成分并非一套更复杂的学习率，而是能够在多个时间尺度上保存奖赏历史与选择历史、并根据任务背景调节当前选择的记忆表征。DataDIVER进一步说明，大语言模型驱动的程序搜索可以在多个物种和任务中生成预测表现优于人工构建模型、同时又具有清楚计算结构的候选模型，并由此提出以类似工作记忆的方式保存最近奖赏、更新未选项价值、短期记录近期选择频率，以及单独表示图像新颖程度等机制。其更广泛的意义在于，生成式人工智能不仅可以预测行为，也可以协助研究者提出和比较理论。不过，只有经过清晰解释、独立复现与实验检验，这些模型所揭示的机制才可能成为可靠的科学结论。

参考文献

Eckstein, M. K., Summerfield, C., Daw, N. D., & Miller, K. J. (2026). Hybrid neural-cognitive models reveal how memory shapes human reward learning. Nature Human Behaviour, 10, 972-987.

Kasenberg, D., Castro, P. S., Eckstein, M. K., et al. (2026). AI-Discovered Cognitive Models Reveal Novel Insights into Human and Animal Learning. bioRxiv. https://doi.org/10.64898/2026.05.18.725921.