认知科学发展史上盛行的关于知识表征的理论是命题符号理论(propositional symbol systems)，但该理论在发展过程中逐渐暴露出许多至今仍未解决的问题。因此，Barsalou受认知科学主流之外的哲学思潮的影响，从理论上提出了一个新的知识表征理论—知觉符号理论(perceptual symbol systems)^[1]。本文介绍了知觉符号理论的产生背景和主要内容，阐述了相关实验证据，最后对该理论的发展进行了一定的评价和展望。

一、知觉符号理论的产生背景 (一) 体验哲学和体验认知的推动

体验哲学(Embodied Philosophy，也称具身哲学)是从上世纪80年代开始为解决身心二元对立问题而出现的，它包括三个基本观点^[2]：(1)心智的体验性，即我们的范畴、概念、推理和心智并不是外部现实客观的、镜像的反映，而是由我们的身体经验所形成，特别是由我们的感觉运动系统所形成；(2)认知的无意识性，即我们的大部分认知和推理是无意识的，它决定了全部知觉思维的结构，没有这种无意识思维，就没有有意识思维；(3)思维的隐喻性，即隐喻不单纯是一种语言现象，而且是一种思维方式，它是身体、经验、大脑和心智的产物，使得大部分抽象思维成为可能。以这些内容为依据，体验哲学进一步将整个认知科学划分为第一代认知科学和第二代认知科学^[3]。第一代认知科学指传统的认知科学，它把心理视作是抽象信息的加工器，认为其与外部世界的联系是随意的。而第二代认知科学则是一种体验认知科学，它认为认知是一种生物学现象，它与身体的其它系统共同进化，源于人类与环境的交互作用方式。受体验哲学和第二代认知科学的推动，知觉符号理论产生并称为第二代认知科学中的代表性理论之一。

(二) 知觉与认知的关系发生转变

认知(cognition)和知觉(perception)在过去几十年中一直被认为是相互分离的两个不同系统。知觉系统是一种输入系统，它从环境中提取信息；而认知系统是一种中心加工系统，它对输入系统传递的信息进行相应的加工处理(如言语、记忆、思维等)。最近几年人们逐渐认识到，认知在本质上也是知觉性的，其与知觉在认知和神经水平上都享有共同的系统^[1]。知觉状态包含对外界刺激无意识的神经表征和有选择的意识经验。知觉状态一旦产生，其中一些部分便通过选择性注意被抽取出来并储存在长时记忆中。在以后的恢复中，这种知觉记忆可起到符号作用以代表外界事物，并进入符号操作过程。大量知觉符号集中起来就组成了认知表征。这种最近形成的知觉与认知的一致性关系直接引发了知觉符号理论的产生。

(三) 命题符号理论存在许多问题

命题符号理论属于第一代认知科学中的代表性理论，它认为认知的构成材料是命题，然后形成命题网络，随着对命题的不同操作或者操作次数的增加，命题网络会不断更新，所以它的容量无限，解释力很强^[4]。但是命题符号理论在发展过程中逐渐暴露出许多问题。首先，几乎没有直接的实验证据证明存在命题符号，许多研究者运用图片和单词加工任务验证概念符号的命题性，但对这些研究的深刻分析却发现概念符号具有知觉特性^[6]。其次，命题符号理论还受到神经科学研究的挑战，许多研究证实有关归类的知识位于大脑的感觉运动区，感觉运动区特定部位受损会影响运用该部位知觉客体以及归类过程，这些研究结果强有力的表明归类知识不是命题性的^[7]。命题符号理论的另一缺点是难以对知觉事物向命题符号转换的过程做出令人满意的描述，如果我们无法解释这些符号是怎样在认知系统中产生的，那么我们又怎能相信它们是存在的？正是因为研究者看到了命题符号理论面临上述难以解决的问题，所以知觉符号理论应运而生。

二、知觉符号理论的主要内容 (一) 知觉符号理论与命题符号理论的主要差异

知觉符号理论跟命题符号理论最主要的理论差异体现在如何看待内在符号与外在物体原型之间的关系。命题符号理论认为两者间的关系是任意的(arbitrary)、语言学模式的(linguistic-like)，而知觉符号理论则认为两者间的关系是类似的(analogue)、知觉的(perceptual)^[1]。例如，对于一张桌子的心理表征，根据命题符号理论，表征是任意的，只是单词“桌子”而已，没有理由解释为什么由t-a-b-l-e五个字母组成的单词代表美国人称之为桌子的物体；然而知觉符号理论认为对桌子的表征不是任意的，这种表征看起来就是像桌子一样的东西，有一个平面和四只脚(或者有一个底座，这取决于桌子的类型)，而且这种表征不受文化差异的影响，不论哪国人，他们对桌子的表征是类似的。知觉符号理论认为符号和原物之间有类似关系意味着原物的变化将引起知觉符号的变化。例如，如果原物体方位改变(如桌子倒置在地板上)，那么对桌子的表征也会发生变化，但命题符号理论并不这样认为(站立的桌子和倒置的桌子都是桌子)。需要指出的是，对一张桌子的知觉表征不是由单个知觉符号引起的，而是由一系列有关指代物各种组成部分(如高度、颜色、形状、纹理)的知觉符号组合而成的，其中方位只是这些符号中的一种。这种由知觉符号组合形成物体表征的过程称之为仿真(simulations)^[1]。Barsalou曾举了一个例子来形象的说明知觉符号理论跟命题符号理论的不同，当个体阅读句子“John put the pencil in the cup”，受铅笔和杯子固有属性的影响，这个句子的仿真物将会是垂直放置的铅笔。然而对句子“John put the pencil in the drawer”的仿真物则是水平放置的铅笔。值得注意的是，在上述例子中方位信息是仿真的一部分，这在命题符号理论中是不存在的。对于句子“John put the pencil in the cup”，典型的命题表征包括PUT(John, pencil, cup)，从命题表征中是不能推论出铅笔的方位的。当然，知觉符号理论也并不认为在仿真过程中各种知觉符号特性都会被激活，而是认为只有与语言理解有关的那些特性才被激活^[7]。

(二) 知觉符号理论的核心特征

基于知觉符号理论与命题符号理论的主要理论差异，Barsalou提出了知觉符号理论的六个核心特征^{[1, 8]}：(1)知觉符号是感觉运动系统的神经表征。知觉符号不是客观的图片，也不是心理表象，而是以知觉为基础的神经表征，在知觉过程中，感觉运动区域中的神经系统从外界环境和自身知觉中获取信息，知觉符号就是对知觉引起的神经冲动的一次记录。(2)知觉符号是图解式的。知觉符号的图解性来自认知心理学中公认的假设，即选择性注意将知觉中的信息分离，进而把分离的信息贮存于长时记忆中，这些分离的信息形成了大量的图解式表征，而这些表征可提供基本的符号功能。(3)知觉符号是多模式的。知觉符号的形成过程不仅可以在视觉中进行，还可以在其他感觉通道以及躯体感受和内省中进行，每一种符号都储存于独立的脑区。(4)知觉符号进一步组成仿真器。知觉符号在长时记忆中并不是独立存在的，相关的符号可以组成一个仿真器，从而使认知系统在客体或事件不在当前出现时仍能够建构出对他们的具体的仿真。(5)知觉符号系统中有多个框架。框架是用来对某一类别进行仿真时使用的一个整合的知觉符号系统，它分别表征空间和内容信息。(6)知觉符号跟言语符号密切相关。人类的言语符号和与其相关的知觉符号一起产生，和知觉符号一样，言语符号也是对知觉事物的图解式记忆，但被知觉的事件是说出来或写出来的。

(三) 知觉符号理论的衍生特征

根据知觉符号理论的核心特征，还可以进一步引申出它的一些衍生特征^[1]：(1)知觉符号具有多产性。人类的认知系统可以产生出无数的概念和言语结构，多产性就是通过相连的、循环的加工器，从有限的符号中建构出无数的表征的能力。(2)知觉符号具有陈述性。人们使用知觉符号可以对任何一个特定的情境采用某种方式进行陈述，由于陈述时选择的知觉符号不同，就可能会对情境产生不同的解释。(3)知觉符号具有体验性。体验性是指知觉符号的意义反映了它所表征的客观事物，客观事物发生变化，其知觉符号也会相应发生改变。(4)知觉符号具有隐喻性。知觉符号通过隐喻可以表征抽象概念，目前知觉符号只能选择一些典型的抽象概念进行表征，不过随着知觉符号理论的发展，知觉符号应该可以执行现代认知科学中所要求的全部表征功能。

三、知觉符号理论的实验证据 (一) 来自行为实验的证据

任何科学的理论都应得到实验的证实。根据知觉符号理论所认为的内在符号与外在物体原型间具有类似性关系，Stanfield等人开创性地使用句图匹配范式对知觉符号理论进行了实验验证^{[9, 10]}。他们在实验中要求被试阅读一系列句子，每个句子呈现后都有一幅图画，被试判定图画中的物体是否在先前句子中提到过。图中物体的方位或形状是变化的，它与句子中隐含的物体方位或形状有匹配和不匹配两种情况。例如，呈现给被试“他往墙上钉钉子”或“他往地板钉钉子”的句子，接着出现一幅水平放置或垂直放置的钉子的图画。再如，呈现给被试“护林员看到一只老鹰在天空中”或“护林员看到一只老鹰在巢穴中”的句子，随后呈现合着翅膀的老鹰或展开翅膀的老鹰的图画。根据知觉符号理论，原物的改变会引起仿真物的类似改变，那么被试对匹配图画的再认时间会明显短于不匹配图画的再认时间；而根据命题符号理论，两种情况下反应时间不会有差异。实验结果很好的验证了知觉符号理论。王瑞明等人在中文条件下运用该范式也得到了同样的结果，说明中文阅读中也同样存在知觉符号表征，并进一步发现知觉符号的产生是一个动态的包括知觉仿真和知觉符号激活的“两步走”的策略加工过程^[11-13]。

读者在阅读中不仅能够对实体进行知觉符号表征，对实体间的关系也可以进行知觉符号表征。Zwaan等人通过实验检验了词语指代物的空间位置关系对语义相关判断的影响^{[14, 15]}。在实验中，他们使用一些指代了物体的纵向空间次序关系的名词作为材料，如“树冠”和“树根”，要求被试快速判断词对是否语义相关。各个词对纵向呈现，其呈现顺序要么与指代物的空间位置次序一致(如“树冠”在上，“树根”在下)，要么不一致(如“树根”在上，“树冠”在下)。根据命题符号理论，“树冠”和“树根”不管在哪个位置上，被试对它们的表征都是概念上的“树冠”和“树根”，两种呈现方式没有差异；而根据知觉符号理论，被试表征“树冠”和“树根”时会自动激活它们的位置信息，呈现方式跟它们本身的空间位置关系一致与否会有差异。实验结果表明，不一致条件下语义相关判断的反应时显著慢于一致条件；并且只有词对呈现在左视野时才会发现不一致效应(知觉符号理论认为空间关系表征主要发生在右半球)。这些实验结果也证明了知觉符号理论。在这些研究的基础上，王瑞明等人的实验进一步说明了词语语义相关判断中存在知觉符号表征，而非表象表征和命题符号表征^{[16, 17]}。

研究者还对动词理解中能否产生知觉符号表征进行了探讨，获得了支持知觉符号理论的大量证据。例如，Richardson等人采取了即时理解的双任务范式，探讨了动词的实时理解过程中是否激活了相应的空间元素^[18]。如果理解动词的同时也激活了其空间表征，那么作为空间表征，它与视觉空间表象具有一定的相似性，因此两者需要使用共同的加工资源，由此可以预期，动词的语义理解任务将与类似空间表象的知觉任务产生交互作用。具体来说，理解纵向动词“尊敬”将产生纵向的空间表征，那么这种空间表征将影响纵向出现的空间视觉刺激的加工，横向动词亦然。Richardson等人的实验结果证明了动词理解中存在知觉符号表征。在此基础上，伍丽梅等人通过实验进一步证明了动词理解过程中会激活其表征中的空间元素，这种激活是自动的、非策略性的，不受情境中客观原因或主观意愿否定的影响^[19]。另外，Zwaan等人通过句图范式还验证了实体间的动态关系表征也是知觉符号表征^[20]。实验中要求被试阅读两个不同的句子，例如“你把排球掷向沙滩那边的孩子们”和“孩子们把排球掷向沙滩这边的你”，然后让被试快速判断随后呈现的两幅球的图画是否相同。第一种情况是小―大图序，即第一幅图的球比第二幅的小，暗示物体向主人公接近；第二种情况是大―小图序，暗示物体远离主人公。结果发现，读者在图画次序与句子描述的运动相匹配的条件下反应快，说明读者在阅读中对实体间的动态关系进行了知觉符号表征。

(二) 来自认知神经科学研究的证据

近十年来，研究者除了从行为实验的角度对知觉符号理论进行验证外，还有一些研究者采用认知神经科学的方法也获得了一些支持知觉符号理论的证据。最近神经心理学家发现在猴子大脑的前运动皮层腹侧，即F5区有一种特殊的神经元—镜神经元，它不仅在自身执行动作时被激活，在观察其他个体执行此动作，甚至听到其他个体做此动作的声音时也会被激活^[21]。这暗示着当被试观察另外的个体执行一个动作时，被试会模拟相同的动作，动作和模拟运用了相同的神经机制。他们还在猴子大脑的顶下小叶的喙状部位和颞上沟发现了与镜神经元功能相似的神经元，这构成了一个镜神经系统。人类的镜神经系统要比猴子灵活的多，因为人类能对更广泛的行动做出反应，包括无目标行为及多重行为。可以说，镜神经系统是人们进行知觉符号表征的神经基础。

最近几年研究者对词汇的认知加工进行研究时，发现语言材料除了激活负责语言加工的一般脑区外，还会连带激活与特定语义信息有关的脑区。如Grossman等人比较了动物名词、工具名词和抽象名词的加工机制，结果表明工具名词和抽象名词具有共同的加工脑区，而加工动物名词时视觉加工脑区枕叶出现特异性激活^[22]。Hauk等人的研究则发现，当句子表述的动作指向身体的某个部位时，会激活与该部位相关的运动皮质区域和前运动皮质区域^[23]。Pulvermüller等人探讨了表达颜色和形状的词汇的加工脑区，结果发现颜色词汇特异性的激活了与记忆相关的脑区，形状词汇还会连带激活视觉加工脑区^[24]。Canessa等人让被试判断两张图片上的物体是否具有相同的用法或作用，结果显示当被试提取相关动作信息(用法)时，得到了与运动区接近的脑区的激活^[25]。总体上看，关于词汇加工的连带脑区激活的研究都说明了词汇表征存在知觉符号表征，语言的理解所形成的模拟不是简单的、抽象的，而是具体的、仿真的，这为知觉符号理论提供了最直接的实验证据。

四、知觉符号理论简评

知觉符号理论的产生有着重要意义，对进化和发展研究、神经科学研究和人工智能研究都有着重要启示。到目前为止，知觉符号理论已经提出了一整套理论框架，也有了一定的实证检验，但作为一种新的知识表征理论，当前对它的关注和研究还是远远不够的。知觉符号理论是为了批驳命题符号理论而提出的，但实际上命题符号理论是很难彻底批驳的。由于命题网络通过对命题的操作次数的增加而不断增加，命题或者操作的数目在理论上也是没有限制的，所以命题符号理论拥有极强的解释力，它甚至可以解释知觉符号理论所解释的任何现象。知觉符号理论要想取代命题符号理论还有很长的路要走。

总体上看，在未来的研究中，我们还应特别关注以下一些问题：(1)知觉符号和命题符号到底是唯一的知识表征方式，还是两者共存？如果共存，又将如何共存？最近有一项研究表明，语言理解中既有知觉符号表征，也有命题符号表征，知觉符号表征是知识表征的一种早期状态，人类头脑中最终的知识表征方式主要是命题符号表征^[11]。如果是这样，那么知觉符号表征是如何向命题符号表征转换的？具体的转换过程有何特点和规律？这些都有待于进一步探讨。(2)知觉符号表征具体概念很容易理解，它在预测和解释具体概念理解时表现得细致完整，虽然该理论认为知觉符号通过隐喻也可以表征抽象概念，并且也有实验证明了相对抽象的概念具有体验性，但是知觉符号如何通过隐喻来表征抽象概念？隐喻的机制到底是什么？这些问题仍需深入探讨。(3)知觉符号理论对语言理解研究有着重要启示，它对语言理解过程有不同看法，并直接促进了语言理解体验观的形成，目前知觉符号理论的实验证据也主要来自于语言理解研究。但是，关于语言理解中的知觉符号表征，仍然有很多问题值得探讨，如感觉运动信息如何被提取并被运用在语言理解中的？已有的知觉加工系统中的成分是如何综合起来解释语言的即时理解的？等等。此外，目前语言理解研究主要关注了记叙性语言的研究，未来的研究中还应关注复杂和抽象的说明性和议论性语言的研究。

知觉符号理论是第二代认知科学中的一个代表性理论，正如李其维教授所述，第二代认知科学对心理学研究有着重要启示，但也有很多问题值得我们去思索^[3]。做为心理学研究者，还应该对知觉符号理论进行深入、系统的探讨，为第二代认知科学的“阳光时代”的早日到来做出自己应用的贡献！