深度 | 语言是心理时间旅行的外延——语言进化研究的跨学科思考（外一篇）

brainnews团队应用语言学研习 2022-06-09

欢迎关注我们，一站式获取海量语言学资源

本文来源：brainnews公众号

转载编辑：研习君

星标应用语言学研习，更新不迷路⭐

原创brainnews创作团队

语言进化研究的跨学科思考：语言是心理时间旅行的外延

语言进化研究在近四十年里进入复兴阶段，是人类交际能力文献中讨论最多的话题之一。跨学科是这一话题当前研究的显着特征，汇集计算机模拟、认知心理学、遗传学、古人类学、分子生物学、语言学和比较研究等领域知识，才能产生生物学上合理的、计算上可行的和行为上充分的语言进化结论。

图源：um.edu.mt

心理时间旅行VS普遍语法

Chomsky（1965）的普遍语法（universal grammar,UG）被语言学、心理学和生物学广泛接受，语言进化的模型大多是建立在UG的基础之上。他认为人类一出生时大脑中就存在UG，通过后天刺激，个别语法才从UG中选择选择出来，UG是人类掌握语言的决定因素，语言的递归性是人与动物语言的根本区别。

MIT

Corballis（2019）认为并不存在UG，语言是心理时间旅行（Mental Time Travel,MTT）的外延。他说：“语言的生成性和递归性并不是来源于语言本身的结构，而是来自丰富的想象力。”

MTT可以回忆过去，畅想未来，甚至是编造故事，做出预测。MTT其中的生成想象力是语言生成性和递归性的基础(William A. Roberts,Miranda C. Feeney, 2009)

语言是MTT的延展

想象力（imagination）具有悠久的进化史，是MTT在空间和时间上延伸，一种分享内心思想的能力,而不是思想本身。想象力具有生成性、重构性，以及最常见的编造故事所体现的递归性（McBride，2014; Boyd，2009）。

想象力是语言生成的基础,最初是以时间、空间的形式，提供语言本身的递归、生成属性。语言的生成和递归就是想象力的生成和递归，是MTT的延展、想象力的外化。

语言通过置换属性指代想象中的东西（Hockett，1960），这种能力是驱动语言演化的最重要因素。正如Dor（2015）所说，语言允许“the instruction of imagination。”

语言和MTT关系是双向的

语言是抽象的符号系统，一个人如何将抽象符号与现实世界中的事件联系起来？语言的象征性表征产生于外化过程，是人类在劳动和生产中演化的结果。物体、动作和事件的内心指代在不同民族之间很多是相似的（对应于UG的“universal”），但是语言符号有明显的不同。

正如前面提到的，这些符号可能开始时是标志性的，或者是拟像的，进化过程中变得越来越随意和抽象，这个过程提高了交流效率，但也产生排他性驱动，成为外族人的障碍（Blasi et al., 2016）。抽象的语言符号会增强推理和话语的力量。数学是一个极端的例子，已经发展到单个符号，比如x或y，可以代表广泛参考的变量。

在外化过程中出现的符号本身就成为我们语义记忆的一部分Corballis（2019）。比如我们可以听到“horse”这个词，我们可以很容易想象与它相关联的动物。这一点我们在之前的文章中已经提到（https://mp.weixin.qq.com/s/tSv0ywrw3wRFoC6EmTKUzg）。

单词本身已经成为记忆的一部分，语言的出现很可能扩展了我们的MTT能力，尤其是对于想象性扩展到小说和讲故事的能力。因此，语言和MTT之间的联系是双向的。

海马体是语言网络的一部分

支持记忆的海马体也支持语言处理，成为记忆和语言共享神经机制的直接神经生理学证据。这一发现将丰富语言模型。

海马体加工情境和语义信息

海马体（Hippocampus）在陈述记忆（Declaraitive Memory）中起着关键作用，负责场景构建，利用存储在大脑的信息自动检索、汇集和传递信息。

海马体的空间功能受到临近内嗅皮质的活动调节，编码空间的大小和方向特征。这表明海马不仅作为认知地图，而且作为MTT的模板。这些细胞以模块化方式运作，产生了大量的组合，提供人类所处的空间背景。Moser（2015）认为这就像使用仅仅三十个或者更少的英文字母组合成语言的所有单词，这暗示了语言的生成性。

海马体不仅可以加工情境，还可以加工语义信息，MTT是结合情境和语义的结果（Duff，Brown-Schmidt（2012）。大规模的破坏海马体可以保留基本的说话能力，但是情节记忆会显著大量丧失，输出的单词数量变少（Duff，2019），语速变慢，严重限制了交际内容（Wear，2005; Corkin，2013）。Covington和Duff（2016）提出海马体汇集和处理信息，对语言本身至关重要，可以视为语言网络的一部分。

表达、学习口语的神经和功能组织。（a）左颞叶区域涉及感知、理解口语单词（Hickok＆Poeppel 2004; Davis＆Johnsrude 2007）及其与单词学习的时间系统。（b）分布式群组模型的功能组织（Gaskell＆Marslen-Wilson 1997,1999;灰色框内描绘的内容），与海马情景记忆系统一起用于学习新单词。

θ振荡代表海马体的语言处理

Piai（2016）观察到被试听到单词后，海马θ振荡增强，这与积极处理先前获得、存储的语义知识有关。

深度电极通过外侧颞叶穿透海马并在六个点处接触，由彩色圆圈表示。对于受约束的句子（上波）而不是无约束的句子（下波），海马的θ振荡活动更强，因此更加同步。（Robert Sanders，2016）

语言和记忆共享神经机制

长期以来，人们一直在研究记忆和语言，并将其视为具有独特神经基质的心理结构。θ振荡广泛地代表海马和新皮质储存位点之间的连接，并且可以反映出对所对于记忆和语言的持续主动处理(Matthew H.Davis and M.Gareth Gaskell,2009),阐明记忆和语言的共享和专门的神经机制的范围。

Piai(2016)提供了一种新的方法来研究记忆-语言界面，这有助于扩展我们对两种最典型的人类精神记忆-语言的相互依赖性和神经生物学的理解。

语言起源于手势

许多理论学家认为语言起源于手势（单独使用手，不考虑发声或嘴巴）。Rizzolatti和Arbib（1998）与早期的十九世纪和二十世纪的学者一致认为，一旦言语和标记结合手势作为交流方式，那么手便得到人类史上第二次解放并开始从事劳动生产。人类在交流时把注意力放在脸部，尤其是嘴，能更有效的传达信息。

非人类动物声音证明语言起源视觉信号

目前，比较研究鸟类的非人类灵长类动物，提供我们语言表型如何演变的证据还很少。因为人类与它们之间的差距太大，无法提供对进化前体及过程。但是，一些有趣的观察结果可以给人启示。

Ellen“收养”了Washoe三年，他们就像一个聋哑的孩子一样抚养他。他们每天生活在一起，只使用ASL进行沟通训练。假设是，如果黑猩猩有天生的本能来学习和使用手势，Washoe会自己使用这些标志（signs）。Gardners和其他研究人员发现她成功掌握了350种不同的ASL标志,适当地和正确使用每个特定标志。(https://thehumanevolutionblog.com/2015/07/28/koko-washoe-and-kanzi-three-apes-with-human-vocabulary/)

交际语言可能产生于视觉信号，而不是声音信号（Corballis，2017）。手势在某种意义上类似语言，但它们比指称更具指示性（Byrne et,al.，2017），并且很少发生在多于一或两个的短序列中。Tomasello（2008）将手势称为“人类交流和语言起源的原始字体”。手势结合脸部表情，能够非常高效地交流。（Corballis，2017）

手势交流早于话语交流

手势是由语境和社会心理因素引起的空间视觉现象，也与复杂的说话者内部语言过程密切相关。在言语和手势作为相互联系的观点下，研究手势发展可以更全面地了解语言习得过程。语言的传达需要肢体语言的伴随，即使在盲人也是如此（Iverson and Goldin-Meadow，1998）。

肢体语言可以提高词汇的传达效率和表达的流利程度（Rauscher et,al.，1996），甚至可以降低说话者的工作记忆负荷（Goldin-Meadow，2001; Wagner，2004）。

有些人认为，在语言进化中，手势与声音是同等重要的（例如，Kendon，2011; McNeill，2012），但是灵长类动物实验的证据表明，手势在语音交流之前就已经开始交流了（Corballis，2014）。

镜像神经元是研究语言起源的转折点

Rizzolatti（1996）在F5区域发现了镜像神经元（Mirror neurons），成为研究语言起源的重要转折点。镜像神经元可以让动物模仿另一只动物的手或嘴的运动，甚至模仿该动物有意义的声音或手势。这样，两个动物之间可以创建共享词汇表。

Rizzolatti提出，F5与Broca area在大脑中的区域相对应，这一区域负责语音。语音辅助手势传递交流信息。随着时间的推移，人类声带控制成为习惯，以语音交流为主，从而解放了手做其它工作。这也说明了为什么聋人使用的手语能够成为完整、成功地语言系统。手和嘴是交流的伙伴，当一方不能胜任时，另一方可以胜任。

抓取动作路径图。图左侧的循环提供了模仿观察手势的机制，使得视觉反馈循环能够用于“社交学习”，通过模仿他人的行为来学习动作，并且还用于到达目标期间的错误校正。后一种路径可以在猴子运动时比较“预期手势”和“观察到的手势”。（Arbib, M.A., 2000）

语言基因FOXP2

FOXP2没有选择性清除信号

FOXP2最初是在一个有语言障碍史的“KE家族”中发现的，成为第一个参与语言生成的基因（Lai,C. et,al. 2001）。后来的研究吹捧了它对人类语言进化的重要性。

人类语言的进化曾被认为取决于单个基因的变化，但最近一项分析表明，FOXP2在智人近代史上并没有发生变化，而之前的发现是错误的，之前研究中看起来像是选择性清除的信号可能是非洲人、欧亚人和其他人群混在一起造成的统计假象(Elizabeth Atkinson，2018）。

随着更多样化的基因组研究，研究人员能够分别单独在非洲人和非非洲人中寻找FOXP2中的选择性清除，但都没有发现任何证据。德国进化遗传学家Wolfgang Enard（2019）说：“FOXP2实际上没有选择性清除信号。”

智人（Homo sapiens）进行选择性清除的证据与古代人类中的存在不一致。重新对全球分布的数百个基因组全面分析FOXP2，没有找到FOXP2积极或平衡选择的证据。测试确定了一个内含子区域，该区域富含人类多态性的高度保守位点，与人类功能丧失相容。。研究结果对FOXP2适应性历史的重大修订，FOXP2是一种对人类进化至关重要的基因。（Atkinson, E.et al.Cell https://doi.org/10.1016/j.cell.2018.06.048.）

FOXP2是语言的必要条件

Simon Fisher（2002）说，即使智人阶段FOXP2没有进化，仍有大量证据表明该基因与语言有关。并且在小鼠试验中，该基因对于发声和运动表达影响是显著的，这两种功能对于人类言语都是至关重要的。

FOXP2，这是一种常染色体显性遗传转录因子，这是一种与DNA结合的蛋白质，用于调节核酸的geneA序列，形成遗传内在表达单位。转录因子就像分子开关一样，可以打开和关闭基因。FOXP2转录因子活性在神经发育过程中很重要，在整个生命中持续发挥作用（Caitlin Aamodt，2018）。

FOXP2的突变导致发音困难，影响单词发音的清晰程度、言语认知能力。因此，FOXP2是人类语言起源和进化必要条件之一，是一块拼图。（Argyropoulos，et. al.，2019）。我们缺乏任何基因与语言表型的连接点，而且对语言表型的描述是分散的，而不是精确定界和计算模块。

鉴于我们目前对基因型——表型映射这种不太复杂的表型映射缺乏了解，分子生物学阐明语言的演变还有很长的路要走。（Atkinson, E.G., et.al., 2018).

互联网在改变语言规则

网络社区以令人眼花缭乱的速度传播新的俚语和行话，产生大量的网络词汇。社交媒体是一个庞大的单词实验室，我们可以在这里实时观察语言的演变。

互联网语言学家Gretchen McCulloch（2019）探讨了塑造人类语言并影响我们彼此沟通方式的深层力量。从语言本身的结构看，那些流利的网络语言可以用标点、大写、甚至间距来表达情感的细微差别和语调，也可以用标志和图片完全取代单词，这有助于我们的在线对话中的流行程度。

语音电话、邮件，社交软件等打破了人类交流的时空限制，未来的主要问题将是如何应对因语音互联网和移动通信的增长而增加的语音输出。

网络改变了我们的交流方式，也在影响语言的进化。正如Corballis(2018)所说，“The cell from the wagging of tongues to the wigging of thumbs.”

细胞从舌头的摇摆转到拇指的摇摆。（https://www.youtube.com/watch?v=nd5cklw6d6Q）

总结

语言进化的问题需要跨学科知识，才会得到合理和可行的结论。Chomsky提出的UG也许并不存在，MTT才是语言进化的关键,语言是想象力的外延，语言和MTT的关系是双向的。海马体是语言网络的一部分，海马θ振荡代表语言的处理，记忆和语言共享一套神经网络。

在结合声音信号之前，语音系统可能起源于手势。镜像神经元的发现是研究语言起源和进化机制的转折点。Foxp2并没有发生清除，并且是语言进化的必要条件。近二十年，互联网改变了语言规则和进化。

参考资料：

[1] Atkinson, Elizabeth Grace, et al. "No evidence for recent selection at FOXP2 among diverse human populations." Cell174.6 (2018): 1424-1435.

[2] Arbib, Michael A., et al. "Synthetic brain imaging: grasping, mirror neurons and imitation." Neural Networks 13.8-9 (2000): 975-997.

[3] Argyropoulos, G. P. D., et al. "Neocerebellar Crus I abnormalities associated with a speech and language disorder due to a mutation in FOXP2." The Cerebellum 18.3 (2019): 309-319.

[4] Atkinson, Elizabeth Grace, et al. "No evidence for recent selection at FOXP2 among diverse human populations." Cell174.6 (2018): 1424-1435.

[5] Blasi, Damián E., et al. "Sound–meaning association biases evidenced across thousands of languages." Proceedings of the National Academy of Sciences 113.39 (2016): 10818-10823.

[6] Burkett, Zachary Daniel, et al. "FoxP2 isoforms delineate spatiotemporal transcriptional networks for vocal learning in the zebra finch." Elife 7 (2018): e30649.

[7] Chomsky, Noam. "Aspects ofthe theory ofsyntax." Cambridge, MA: MITPress (1965).

[8] Corballis, Michael C. "Language, Memory, and Mental Time Travel: An Evolutionary(2019)

[9] Corballis, Michael C. The Recursive Mind: The Origins of Human Language, Thought, and Civilization-Updated Edition. Princeton University Press, 2014.

[10] Davis, Matthew H., and M. Gareth Gaskell. "A complementary systems account of word learning: neural and behavioural evidence." Philosophical Transactions of the Royal Society B: Biological Sciences 364.1536 (2009): 3773-3800.

作者信息

作者：李天骄（brainnews创作团队）

校审：Simon（brainnews编辑部）

外一篇：

认知推理：人工智能的下一个浪潮 | 附主题报告PPT下载

原创学术君学术头条

2020 年 3 月 25 日，智源研究院学术副院长、清华大学计算机系唐杰教授作客首届中科院“先导杯”并行计算应用大奖赛启动仪式，并为大家带来《人工智能下一个十年》的主题报告。

唐老师从人工智能发展的历史开始，深入分析人工智能近十年的发展，阐述了人工智能在感知方面取得的重要成果，尤其提到算法是这个感知时代最重要、最具代表性的内容，重点讲解了 BERT、ALBERT、MoCo2 等取得快速进展的算法。最后说到下一波人工智能浪潮的兴起，就是实现具有推理、可解释性、认知的人工智能。

错过了直播怎么办？没关系，以下是我们整理的报告精彩内容（关注学术头条公众号，对话框回复：AI10，可获得唐老师演讲 PPT 全文）。

近年来，人工智能掀起了第三次浪潮，各个国家纷纷制订了人工智能的发展战略。

在我国，2016 年国务院发布《“十三五”国家科技创新规划》，明确将人工智能作为发展新一代信息技术的主要方向；2017 年 7 月，国务院颁布《新一代人工智能发展规划》；2017 年 10 月，人工智能被写入“十九大报告”；今年，人工智能又作为“新基建”七大领域之一被明确列为重点发展领域。

美国于 2016 年先后发布了《为人工智能的未来做好准备》和《国家人工智能研究与发展战略规划》两份报告，将人工智能提升到了国家战略的层面；2018 年，白宫举办人工智能峰会，邀请业界、学术界和政府代表参与，并成立了人工智能特别委员会。日本、德国等多个国家也发布了相关的战略、计划，大力推进人工智能的发展。

在这个时代背景下，我们需要考虑人工智能未来十年会怎样发展。首先，我们需要从人工智能的发展历史中找到灵感。

AI 的发展历史

随着克劳德·香农（Claude Shannon）在 1950 年提出计算机博弈，以及阿兰·图灵（Alan Turing）在 1954 年提出“图灵测试”，人工智能这一概念开始进入人们的视野。

到了 20 世纪 60 年代，人工智能出现了第一波高潮，发展出了自然语言处理和人机对话技术。其中的代表性事件是丹尼尔·博布罗（Daniel Bobrow）在 1964 年发表的Natural language input for a computer problem solving system，以及约瑟夫·维森鲍姆 (Joseph Weizenbaum) 在 1966 年发表的 ELIZA—a computer program for the study of natural language communication between man and machine。

此外，还有一个重要的发展——知识库。1968 年，爱德华·费根鲍姆 (Edward Feigenbaum)提出首个专家系统 DENDRAL 的时候对知识库给出了初步的定义，其中隐含了第二波人工智能浪潮兴起的契机。

之后，人工智能进入了一轮跨度将近十年的寒冬。

20 世纪 80 年代，人工智能进入了第二波浪潮，这其中代表性的工作是 1976 年兰德尔·戴维斯 (Randall Davis)构建和维护的大规模的知识库，1980 年德鲁·麦狄蒙（Drew McDermott）和乔恩·多伊尔（Jon Doyle）提出的非单调逻辑，以及后期出现的机器人系统。

在 1980 年，汉斯·贝利纳 (Hans Berliner)打造的计算机战胜双陆棋世界冠军成为标志性事件。随后，基于行为的机器人学在罗德尼·布鲁克斯（Rodney Brooks）的推动下快速发展，成为人工智能一个重要的发展分支。这其中格瑞·特索罗（Gerry Tesauro）等人打造的自我学习双陆棋程序为后来的增强学习的发展奠定了基础。

20 世纪 90 年代，AI 出现了两个很重要的发展：第一项内容是蒂姆·伯纳斯·李（Tim Berners-Lee）在 1998 年提出的语义互联网路线图，即以语义为基础的知识网或知识表达。后来又出现了 OWL 语言和其他一些相关知识描述语言。第二项内容是杰弗里·辛顿（Geoffrey Hinton）等人提出的深度学习，这标志着第三次人工智能浪潮的兴起。

在这次浪潮中，我们也看到很多企业参与其中，如塞巴斯蒂安·特龙（Sebastian Thrun）在谷歌主导推出的自动驾驶汽车，IBM 的沃森（Watson）于 2011 年在《危险边缘》（Jeopardy）中获得冠军，苹果在 2011 年推出的自然语言问答工具 Siri 等。

以上就是人工智能在 60 多年的发展历史中取得的一些标志性成果和技术。

AI 近十年的发展

我们再深入分析 AI 近十年的发展，会看到一个重要的标志：人工智能在感知方面取得重要成果。人工智能在语音识别、文本识别、视频识别等方面已经超越了人类，我们可以说 AI 在感知方面已经逐渐接近人类的水平。从未来的趋势来看，人工智能将会有一个从感知到认知逐步发展的基本趋势，如下图所示：

首先，我们来看看 AI 在感知方面做了哪些事情。在感知方面，AlphaGo、无人驾驶、文本和图片之间的跨媒体计算等取得了快速发展。从宏观来看，算法是这个感知时代最重要、最具代表性的内容。如果把最近十年的重要算法进行归类，以深度学习为例进行展示的话，我们可以得到下图所示的发展脉络。

最上面浅紫色部分的内容是以前向网络为代表的深度学习算法。

第二层淡绿色部分的内容表示一个以自学习、自编码为代表的学习时代。

第三层橘色部分的内容代表自循环神经网络（概率图模型的发展）的算法。

最下面粉色部分是以增强学习为代表的发展脉络。

总体来讲，我们可以把深度学习算法归类为这四个脉络，而这四个方面都取得了快速的进展。

如果再深入追溯最近几年最重要的发展，会发现 BERT 是一个典型代表（想深入了解的读者可以阅读https://arxiv.org/pdf/1810.04805.pdf）。以 BERT 为代表的预训练算法得到了快速的发展，基本上所有的算法都采用了预训练+微调+ Fine tune 的方法，如下图所示：

BERT 在 2018 年年底通过预训练打败了 NLP 上 11 个任务的经典算法；XLNet 在 2019 年提出来通过双向网络的方法超过了 BERT （想深入了解的读者可以阅读https://arxiv.org/pdf/1906.08237.pdf），如下图所示：

再后来，ALBERT 又超过了 XLNet 和原始的 BERT（想深入了解的读者可以阅读https://arxiv.org/pdf/1909.11942.pdf）。整个 BERT 的发展引发了后续一系列的工作。

在其他方面，也涌现了很多有代表性的工作。如在 2018 年年底，英伟达通过预训练模型实现高清视频的自动生成。想要了解更多详细信息的读者可以阅读https://arxiv.org/abs/1808.06601。

DeepMind 又把代表性的关联关系生成到 graph_net 中，于是在网络中可以实现一定的推理，其结构如下图所示。想要了解更多信息的读者可以阅读https://arxiv.org/abs/1806.01261。

Facebook 的何恺明等人提出了以 contrastive learning 为基础的 MoCo 及 MoCo2，在很多无监督学习（Unsupervised learning）的结果上超过了监督学习（Supervised learning），这是一个非常重要的进展，这也标志着预训练达到了一个新的高度。想要了解更多信息的读者可以阅读https://arxiv.org/abs/1911.05722。
杰弗里·辛顿等人利用 SimCLR，通过简化版的 contrastive learning 超过了 MoCo，后来 MoCo2 又宣称超过了 SimCLR，想要了解更多信息的读者可以阅读https://arxiv.org/abs/2002.05709。

总体来看，在算法的时代，预训练算法取得了快速的进展。那么未来十年，AI 将何去何从？

展望未来十年

这里，我想引用张钹院士提出来的第三代人工智能的理论体系。

2015 年，张钹院士提出第三代人工智能体系的雏形。

2017 年，DARPA 发起 XAI 项目，核心思想是从可解释的机器学习系统、人机交互技术以及可解释的心理学理论三个方面，全面开展可解释性 AI 系统的研究。

2018 年底，正式公开提出第三代人工智能的理论框架体系，核心思想为：

建立可解释、鲁棒性的人工智能理论和方法。
发展安全、可靠、可信及可扩展的人工智能技术。
推动人工智能创新应用。

其中具体实施的路线图如下：

与脑科学融合，发展脑启发的人工智能理论。
数据与知识融合的人工智能理论与方法。

在这个思想框架下，我们做了一定的深入研究，我们称之为认知图谱。其核心概念是知识图谱+认知推理+逻辑表达。

下面展开解释一下。

知识图谱大家很熟悉，是谷歌在 2012 年提出来的。这其中有两个重磅的图灵奖获得者：一个是爱德华·费根鲍姆（1994 年图灵奖得主），他在 20 世界 60 年代就提出来了知识库的一些理论体系和框架；另一个是 1994 年蒂姆·伯纳斯·李（2016 年图灵奖得主、WWW 的创始人、语义网络的创始人）。这里面除了知识工程、专家系统，还有一个代表性的系统 CYC，CYC 可以说是历史上持续时间最长的项目，从 1985 年开始，这个项目直到现在还一直在持续。

说完了知识图谱，我们来说一下认知图谱。

相信很多人对认知图谱都比较陌生，这里我们举一个例子来说明一下。假如我们要解决一个问题“找到一个 2003 年在洛杉矶的 Quality 咖啡馆拍过电影的导演（Who is the director of the 2003 film which has scenes in it filmed at The Quality Cafe in Los Angeles）”。如果是人来解决这个问题的话，可能是先追溯相关的文档，如 Quality 咖啡馆的介绍文档，洛杉矶的维基百科页面等，我们可能会从中找到相关的电影，如 Old School ，在这个电影的介绍文档里面，我们可能会进一步找到该电影的导演 Todd Phillips，经过比对电影的拍摄时间是 2003 年，最终确定答案是 Todd Phillips，具体流程如下图所示：

当我们用传统算法（如 BIDAF, BERT, XLNet）进行解决的时候，计算机可能只会找到局部的片段，仍然缺乏一个在知识层面上的推理能力，这是计算机很欠缺的。人在这方面具有优势，而计算机缺乏类似的能力。

人在解决上述问题的过程中存在推理路径、推理节点，并且能理解整个过程，而 AI 系统，特别是在当下的 AI 系统中，深度学习算法将大部分这类问题都看作是一个黑盒子，如下图所示：

怎么办呢？对此，我们提出了“认知图谱”这个概念，我们希望用知识表示、推理和决策，包括人的认知来解决上述问题，其基本结构如下：

这个基本的思想是结合认知科学中的双通道理论。在人脑的认知系统中存在两个系统：System 1 和 System 2，如下图所示。System 1 是一个直觉系统，它可以通过人对相关信息的一个直觉匹配寻找答案，它是非常快速、简单的；而 System 2 是一个分析系统，它通过一定的推理、逻辑找到答案。

在去年的 NIPS 上，图灵奖获得者 Bengio 在大会主旨报告的 Keynote 也提到，System 1 到 System 2 的认知是深度学习未来发展的重要的方向，如下图所示：

因此，我们大概用这个思路构建了这个新的、我们称为认知图谱的这样一个方法。在 System 1 中我们主要做知识的扩展，在 System 2 中我们做逻辑推理和决策，如下图所示：

可以看到，我们在 System 1 中做知识的扩展，比如说针对前面的问题，我们首先找到相关的影片，然后用 System 2 来做决策。如果是标准答案，就结束整个推理的过程。如果不是标准答案，而相应的信息又有用，我们就把它作为一个有用信息提供给 System 1，System 1 继续做知识的扩展，System 2 再来做决策，直到最终找到答案。

现在，在这两个系统中，System 1 是一个直觉系统，我们用 BERT 来实现，实现了以后，我们就可以做相关的信息的匹配；System 2 就用一个图卷积网络来实现，在图卷积网络中可以做一定的推理和决策。通过这个思路，我们就可以实现一定的推理+决策。

这是一个总体的思路，要真正实现知识和推理，其实还需要万亿级的常识知识库的支持，如下图所示。也就是说，四五十年前费根鲍姆做过的事情，也许我们现在要重做一遍，但是我们要做到更大规模的常识知识图谱，并且用这样的方法，用这样的常识知识图谱来支撑上面的深度学习的计算，这样才能真正实现未来的 AI。

所以说，这一代人工智能浪潮也许到终点还是没有推理能力，没有可解释能力。而下一波人工智能浪潮的兴起，就是实现具有推理、具有可解释性、具有认知的人工智能，我们认为这是 AI 下一个 10 年要发展、也一定会发展的一个重要方向。

这里我列出来了相关的文章，大家感兴趣的话可以看一下。想要了解更多内容，可以登录http://keg.cs.tsinghua.edu.cn/jietang。

Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang, and Jie Tang. Cognitive Graph for Multi-Hop Reading Comprehension at Scale. ACL’19.
Jie Zhang, Yuxiao Dong, Yan Wang, Jie Tang, and Ming Ding. ProNE: Fast and Scalable Network Representation Learning. IJCAI’19.
Yukuo Cen, Xu Zou, Jianwei Zhang, Hongxia Yang, Jingren Zhou and Jie Tang. Representation Learning for Attributed Multiplex Heterogeneous Network. KDD’19.
Fanjin Zhang, Xiao Liu, Jie Tang, Yuxiao Dong, Peiran Yao, Jie Zhang, Xiaotao Gu, Yan Wang, Bin Shao, Rui Li, and Kuansan Wang. OAG: Toward Linking Large-scale Heterogeneous Entity Graphs. KDD’19.
Qibin Chen, Junyang Lin, Yichang Zhang, Hongxia Yang, Jingren Zhou and Jie Tang. Towards Knowledge-Based Personalized Product Description Generation in E-commerce. KDD'19.
Yifeng Zhao, Xiangwei Wang, Hongxia Yang, Le Song, and Jie Tang. Large Scale Evolving Graphs with Burst Detection. IJCAI’19.
Yu Han, Jie Tang, and Qian Chen. Network Embedding under Partial Monitoring for Evolving Networks. IJCAI’19.
Yifeng Zhao, Xiangwei Wang, Hongxia Yang, Le Song, and Jie Tang. Large Scale Evolving Graphs with Burst Detection. IJCAI’19.
Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Chi Wang, Kuansan Wang, and Jie Tang. NetSMF: Large-Scale Network Embedding as Sparse Matrix Factorization. WWW'19.
Jiezhong Qiu, Jian Tang, Hao Ma, Yuxiao Dong, Kuansan Wang, and Jie Tang. DeepInf: Modeling Influence Locality in Large Social Networks. KDD’18.
Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Kuansan Wang, and Jie Tang. Network Embedding as Matrix Factorization: Unifying DeepWalk, LINE, PTE, and node2vec. WSDM’18.
Jie Tang, Jing Zhang, Limin Yao, Juanzi Li, Li Zhang, and Zhong Su. ArnetMiner: Extraction and Mining of Academic Social Networks. KDD’08.