基底神经节(Basal ganglia) 是一群位于大脑皮质底下的神经核团，与大脑皮层，丘脑和脑干相连。它的主要功能包括运动控制、强化学习，以及情感动机等高级认知功能。基底神经节的病变可能导致多种运动或认知方面的障碍，包括帕金森症，亨廷顿症和抑郁症等疾病。

纹状体(Striatum)是基底神经节主要的输入性核团，接受来自大脑皮层和丘脑等输入。该脑区主要包括由多巴胺1型和2型受体标记的中型多棘神经元(medium spiny neurons)，分别介导基底神经节运动调控中的两条经典通路：直接通路(direct pathway)和间接通路(indirect pathway)。

经典的理论认为：直接通路促进运动，介导奖励或正向的强化学习(positive reinforcement learning)；间接通路抑制运动，介导惩罚或负向的强化学习(negative reinforcement learning)。

上世纪80年代，麻省理工学院的Ann Graybiel课题组通过组织化学染色的方法发现纹状体中存在马赛克分布的“补丁”区块，区块内的神经元高表达μ型阿片受体(μ-opioid receptor, MOR)。她们把这些区块命名为“纹状小体”(striosome)。

后续的研究发现纹状小体与中脑的多巴胺细胞有直接的突触联系，在动物学习过程中起重要作用。由于纹状小体马赛克式的分布特点以及形态上不归一性，因而无法使用传统的记录和操控手段去研究这些神经元，所以至今关于这些神经元的功能理解依然知之甚少。

首先，作者基于前人的研究发现Tshz1和Pdyn两种分子可以作为纹状小体的标志物。利用转基因小鼠(Tshz1-FlpO和Pdyn-Cre)与带有荧光标志物的Reporter小鼠品系杂交，发现这两种分子标记的神经元在空间分布上都显示出马赛克式的区块结构。通过组织化学染色的方法，发现这些神经元与MOR在空间上共标，进一步确认了这些被标记的神经元属于纹状小体神经元。

然后通过RNAscope的方法同时标记多巴胺1型和2型受体，作者发现Tshz1和Pdyn都标记了直接通路神经元(direct-pathway medium spiny neurons, dMSN)。进而作者利用腺相关病毒分别标记这两群神经元，发现它们都投射到与直接通路相关的下游脑区，包括内苍白球、黑质等，这些投射路径与dMSN的投射高度相似。这些结果说明Tshz1和Pdyn特异性地标记了纹状小体的dMSN。

为了直接观察这两类神经元在动物行为中的活动，作者在Tshz1⁺和Pdyn⁺ dMSN中特异性表达钙指示蛋白(GCaMP)，然后通过植入GRIN lens或者光纤来观测细胞的钙信号。为了了解这两群神经元在动物强化学习中的活动，作者训练小鼠进行巴普洛夫的任务：一种频率的声音（条件刺激）预示奖励（非条件刺激），另外一种声音（条件刺激）预示惩罚（非条件刺激）。

作者发现这两群神经元有很不一样的活动特征：Tshz1⁺ dMSN主要对惩罚起兴奋性的反应，而Pdyn⁺ dMSN对奖励和惩罚都起兴奋性的反应。这两群神经元在动物学习的早期，对条件刺激都没有反应；然而在学习之后，它们开始对条件刺激也起反应，显示这些神经元获得“预测”功能。这些结果提示这些纹状小体神经元可能参与动物的强化学习过程。

为了证实这些神经元与强化学习直接的因果关系，作者在Tshz1⁺和Pdyn⁺ dMSN中特异性表达光遗传受体，利用激光特异性地激活这两类神经元。结果发现，这两类神经元介导完全相反的价值判断：直接激活Tshz1⁺ dMSN引起动物的厌恶或者逃避行为；而激活Pdyn⁺ dMSN则引起动物喜欢或者位置偏好的行为。

更进一步，通过偶联激光激活这两类神经元与动物的鼻触行为，发现激活Tshz1⁺ dMSN可以减少与之关联的动作的价值，而激活Pdyn⁺ dMSN可以增加与之关联的动作的价值。这说明Tshz1⁺和Pdyn⁺dMSN活动的高低，可以指导动物的动作抉择行为。

特别需要指出的是，Tshz1⁺ dMSN所介导的功能与传统的对于dMSN的认识完全相反，揭示出Tshz1⁺ dMSN投射出独特的“非经典”直接通路。与经典的直接通路相反，这条非经典直接通路介导负向的强化学习信号。这些结果也表明经典的基底神经节理论模型过于简单，纹状体中dMSN不同亚群的神经元具有很不一样的功能。

为了更进一步研究Tshz1⁺ dMSN在动物主动逃避危害刺激的行为中的作用，作者训练小鼠进行跑轮(running wheel)行为：当小鼠听到10 KHz的声音后，需要让自己在滚轮上的跑动速度超过一定的阈值，否则它会受到惩罚（一股空气流）。

当小鼠进行这个任务的时候，作者发现Tshz1⁺ dMSN有相当比例的神经元在小鼠失败受到惩罚的时候起反应，也有很多神经元在小鼠积极跑动（躲避潜在的危险刺激）的时候有反应。

而且有很多神经元的活动与动物的跑动速度成正向的线性相关的关系：动物在反应时间窗内跑动的速度越快，Tshz1⁺ dMSN的活动越高。这些结果说明Tshz1⁺ dMSN不仅仅被动地 报告接受到的惩罚，而且还积极地参与了负向的强化学习的行为。

为了验证Tshz1⁺ dMSN是否是学习行为所必需的，作者在Tshz1⁺ dMSN中特异性地表达一种化学遗传学的受体(KORD)，然后通过皮下注射KORD的激动剂(SALB)来特异性地抑制这一类神经元的活动。

在这个实验中，作者训练小鼠完成一个听觉的Go/No-go的任务：在一种声音下，小鼠舔水管可以得到奖赏(Go)；而在另外一种声音下，小鼠被要求不能舔水管(No-go)，否则受到惩罚。结果发现，与对照组相比，抑制Tshz1⁺ dMSN的活动显著地降低了小鼠的学习速率。

更进一步分析发现，小鼠学习行为的降低主要是由于在No-go行为中，小鼠没有很好地抑制自己的舔水管行为；而抑制Tshz1⁺ dMSN对Go的行为并没有明显的影响。此外，通过分析小鼠在旷场中自由活动时的运动轨迹，作者发现抑制Tshz1⁺ dMSN并没有影响运动。

这些结果说明Tshz1⁺ dMSN所介导的功能并不是传统上与运动相关的功能，而是在负向的强化学习中扮演很重要的角色。

这一研究为基底神经节直接通路和纹状小体的功能提供了新的认识，为揭示基底神经节在强化学习中的作用原理提供了重要数据，对传统的理论模型进行了修正。该研究也为基底神经节相关疾病的机制研究和治疗提供了新线索。

论文第一作者为冷泉港实验室肖雄博士，通讯作者为冷泉港实验室李波教授。

相关论文信息：

https://doi.org/10.1016/j.cell.2020.08.032