因果涌现读书会第三季启动：深入多尺度复杂系统核心，探索因果涌现理论应用
导语
涌现无疑是复杂系统诸多现象中最神秘莫测的一个。从鸟群聚集、萤火虫同步、蜜蜂舞蹈，到宇宙起源、生命演化、意识产生，我们生活在一个“涌现”的世界中。所谓的涌现，是指复杂系统在宏观所展现出来的，无法归约到微观的特性或规律。新兴的因果涌现理论有望为量化多尺度复杂系统中的涌现现象提供强大工具。
由北京师范大学教授、集智俱乐部创始人张江等人发起的「因果涌现」系列读书会第三季，将组织对本话题感兴趣的朋友，深入探讨因果涌现的核心理论，详细梳理领域发展脉络，并发掘因果涌现在生物网络和脑网络、涌现探测等方面的应用。读书会自7月11日开始，每周二晚19:00-21:00，预计持续时间8～10周。欢迎感兴趣的朋友报名参与。
1. 读书会介绍
1. 读书会介绍
因果涌现第三季的读书会中，我们将进一步围绕因果涌现的核心问题「因果涌现的定义」以及「因果涌现的辨识」来进行深入学习和讨论，对 Erik Hoel 提出的 Causal Emergence，Causal Geometry 等因果涌现的核心理论进行探讨和剖析，并且详细梳理其中涉及到的方法论，包括从动力学约简、隐空间动力学学习等其他研究领域中学习和借鉴相关的研究思路，最后探讨因果涌现的应用，包括基于生物网络、脑网络或者涌现探测等问题展开扩展，发掘更多的实际应用场景。
我们希望通过因果涌现这三季读书会的讨论，可以沉淀成一篇关于复杂系统的因果与涌现的综述文章，呼应 Entropy 杂志的 Causality and Complex Systems 特刊；张江老师也希望能撰写一本关于「涌现」理论的科普书，欢迎大家提出感兴趣的问题，并且坚持催更，让作者更有动力撰写！
2. 发起人团队介绍
2. 发起人团队介绍
3. 报名参加读书会
3. 报名参加读书会
读书会网页地址：https://pattern.swarma.org/study_group/28
第二步：填写信息后，付费299元。
第三步：添加负责人微信，拉入对应主题的读书会社区（微信群）。
加入社区后可以获得的资源
在线会议室沉浸式讨论：与主讲人即时讨论交流
交互式播放器高效回看：快速定位主讲人提到的术语、论文、大纲、讨论等重要时间点
高质量的主题微信社群：硕博比例超过80%的成员微信社区，闭门夜谈和交流
超多学习资源随手可得：从不同尺度记录主题下的路径、词条、前沿解读、算法、学者等
参与社区内容共创任务：读书会笔记、百科词条、公众号文章、论文解读分享等不同难度共创任务，在学习中贡献，在付出中收获。
参与共创任务，共建学术社区
• 读书会笔记：在交互式播放器上记录术语和参考文献
• 集智百科词条：围绕读书会主题中重要且前沿的知识概念梳理成词条。例如：
4. 阅读材料
4. 阅读材料
经典因果涌现理论
因果涌现理论是由Erik Hoel提出，他的研究引入了有效信息（EI）的概念，并提出了一种量化因果涌现的方法。这个领域的重要研究问题包括如何准确地量化和识别因果涌现，以及如何在微观和宏观层面之间找到最佳的平衡。这个领域面临的挑战包括如何从实际的数据中提取出有效的粗粒化策略，以及如何处理因果涌现的概念和测量方法的争议。
推荐人：袁冰
重点解读文献：
1.Erik P. Hoel, Larissa Albantakis, Giulio Tononi. Quantifying causal emergence shows that macro can beat micro. PNAS, 2013. https://www.pnas.org/doi/pdf/10.1073/pnas.1314922110
5.Tononi, Giulio, and Olaf Sporns, Measuring Information Integration, BMC Neuroscience, 2003 https://doi.org/10.1186/1471-2202-4-31
最早提出了将最大熵作为互信息的约束条件的有效信息（EI）概念。
资料推荐：
因果涌现第一季：4.因果涌现的理论：https://pattern.swarma.org/study_group_issue/3
连续动力系统的因果涌现
推荐人：刘凯威、王志鹏
重点解读文献：
1.Pavel Chvykov, Erik Hoel. Causal Geometry. arXiv:2010.09390, 2020
https://doi.org/10.3390/e23010024
这篇文章介绍了因果几何的概念，提出“有效信息（EI）”的几何版本，因此连续状态空间的因果关系信息性的已知度量，在给定固定干预能力的情况下，也能得到有效的推断。这样，连续状态空间下的“因果涌现”的结果，即宏观的因果关系可能比“基本的”微观关系携带更多的信息，也可以得到量化的展现。这对未来的动力学系统的有效信息计算和因果涌现推断有着重要的影响。
2.Thomas F. Varley. Causal Emergence in Discrete and Continuous Dynamical Systems. arXiv:2003.13075, 2020. https://arxiv.org/abs/2003.13075
为了克服Erik Hoel提出的有效信息方法只能应用在离散的状态系统，对于Rossler这样的连续系统，Varley使用OPN方法离散化吸引子来创建有限数量的状态以及状态之间的转移概率，从而同样能使用有效信息来刻画系统动力学的因果性强弱，进而判断因果涌现的发生。
资料推荐：
集智百科：连续动力系统：https://wiki.swarma.org/index.php/%E8%BF%9E%E7%BB%AD%E5%8A%A8%E5%8A%9B%E7%B3%BB%E7%BB%9F
因果涌现第二季：24.如何从数据中发现因果涌现——神经信息压缩器：https://pattern.swarma.org/study_group_issue/373
动力学约简
• 协同学（役使原理Slavery Principle）
参考资料：http://www.scholarpedia.org/article/Synergetics
重点解读文献：
1.Bastian Pietras. Network dynamics of coupled oscillators and phase reduction techniques. physics reports, 2019, 819: 1-105
https://www.sciencedirect.com/science/article/pii/S0370157319302327
其他参考文献：
2.Grigoriev D., Samal S.S., Vakulenko S., et al. Algorithms to Study Large Metabolic Network Dynamics, 2015, 10(5): 100–118，https://doi.org/10.1051/mmnp/201510507
资料推荐：
集智百科：协同学：https://wiki.swarma.org/index.php/%E5%8D%8F%E5%90%8C%E5%AD%A6
隐空间的动力学学习
推荐人：杨明哲、荣英淇
重点解读文献：
1.Kemeth, F., Bertalan, T., Thiem, T., et al. Learning emergent partial differential equations in a learned emergent space. Nature Communications, 2022, 13(1): 3318. https://www.nature.com/articles/s41467-022-30628-6
使用神经网络学习多主体系统的偏微分演化方程，应用于一个耦合振子系统和一个生物神经元系统。
2.Vlachas, Pantelis R., Arampatzis, et al. Multiscale simulations of complex systems by learning their effective dynamics. nature machine intelligence, 2022: 1-8. https://arxiv.org/abs/2006.13431
机器学习多尺度建模，宏观隐空间上使用RNN预测，微观上自行演化，用于复杂系统的预测，映射到隐空间可节省运算成本。
其他参考文献：
3.Danijar Hafner, Timothy Lillicrap, Mohammad Norouzi, et al. Mastering Atari with Discrete World Models. arXiv:2010.02193, 2022 https://arxiv.org/abs/2010.02193
DreamerV2，世界模型（world model）的一种架构
4.Yanbo Zhang, Sara Imari Walker. A Relational Macrostate Theory Guides Artificial Intelligence to Learn Macro and Design Micro. arXiv:2210.07374, 2022. https://arxiv.org/abs/2210.07374
关系主义视角下的多尺度建模，使用了可逆神经网络作为编码器，应用于图灵斑图等问题上，识别重要的宏观参数
5.Lionel Barnett, Anil K. Seth. Dynamical independence: discovering emergent macroscopic processes in complex dynamical systems. arXiv:2106.06511, 2021 https://arxiv.org/abs/2106.06511
基于转移熵的判断，找到一种对微观变量分组的粗粒化方式，使宏微观动力学解耦，应用于线性系统
6.Atmanspacher H.. On Macrostates in Complex Multi-Scale Systems, 2016, 18: 426 https://www.mdpi.com/1099-4300/18/12/426
讨论了从微观态空间划分得到宏观态方法的稳定性准则
7.Daniel Floryan, Michael D. Graham. Data-driven discovery of intrinsic dynamics. nature machine intelligence, 2022: 1-8 https://www.nature.com/articles/s42256-022-00575-4.
结合数学上的流形理论以及机器学习的表示能力，对微观状态上的观测数据进行降维，使其维度尽可能低的同时能把握系统的潜在动力学
计算力学
最早提出因果涌现基本思路的研究。通过Sara Walker推荐。
推荐人：杨明哲
重点解读文献：
1.Cosma Rohilla Shalizi, James P. Crutchfield. Computational Mechanics: Pattern and Prediction, Structure and Simplicity. arXiv:cond-mat/9907176, 2000. https://arxiv.org/pdf/cond-mat/9907176
这是计算力学正式提出的第一篇文章，作者们在这篇文章中首次提出了计算力学的概念，针对动力学上的时间序列，给出了因果性最强的宏观态定义——因果态。
2.Crutchfield James P., Shalizi Cosma Rohilla. Thermodynamic Depth of Causal States: Objective Complexity via Minimal Representations, 1999, 59(1): 275–83. http://bactra.org/research/TDCS.pdf
这篇文章与第一篇文章的作者相同，内容也是一致的，但提供了更多具体的例子，进一步阐述了计算力学的概念和应用。
3.Hanson James E., Crutchfield James P.. Computational Mechanics of Cellular Automata: An Example, 1997, 103(1–4): 169–89 https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=ae1c707202d9c998dca044c091d943f409999551
这篇文章以元胞自动机作为案例，在计算力学框架下进行了详细的分析，展示了计算力学在元胞自动机中的应用。
其他参考文献：
4.Cosma Rohilla Shalizi, Cristopher Moore. What Is a Macrostate? Subjective Observations and Objective Dynamics. arXiv:cond-mat/0303625, 2003 https://arxiv.org/pdf/cond-mat/0303625.pdf
这篇文章主要讨论了多尺度的视角，探讨了关于宏观态主观观察和客观动态之间的关系，给出了得到与计算力学中因果态相一致的宏观态的方法。
5.Crutchfield James P., Ellison Christopher J., Mahoney John R.. Time’s Barbed Arrow: Irreversibility, Crypticity, and Stored Information, 2009, 103(9): 094101 https://arxiv.org/pdf/0902.1209.pdf
以计算力学为基础，探讨了excess entropy与复杂性统计度量之间的关系。
6.Barnett Nix, Crutchfield James P.. Computational Mechanics of Input-Output Processes: Structured Transformations and the
这是James对计算力学的最新拓展，他在这篇文章中将计算力学扩展到耦合两个过程的通信信道，并引入了
资料推荐：
因果涌现第二季：13.计算力学：模式、预测、结构与简洁性：https://pattern.swarma.org/study_group_issue/259
因果涌现应用
推荐人：王志鹏
重点解读文献：
1.Klein B., Hoel E.. The Emergence of Informative Higher Scales in Complex Networks. Complexity, 2020, 2020: 12 https://www.hindawi.com/journals/complexity/2020/8932526/
Erik Hoel 尝试将此前提出的基于粗粒化的方法应用到复杂网络中，不同的是，这里假定网络具有随机游走动力学，将随机游走子放在节点上等价于对节点做干预，然后基于随机游走概率定义节点的转移概率矩阵，随后在不同参数下的人工网络以及真实网络中量化因果涌现的发生。
2.Ross Griebenow, Brennan Klein, Erik Hoel. Finding the right scale of a network: Efficient identification of causal emergence through spectral clustering. arXiv:1908.07565, 2022 https://arxiv.org/abs/1908.07565
为了使得上述方法能应用到更大规模的网络中，作者提出了一种基于谱聚类的方法来识别偏好依附网络中的因果涌现。相比贪婪算法以及梯度下降算法，谱聚类算法的计算时间最少，同时找到的宏观网络的因果涌现也更加显著。
3.Klein Brennan. Evolution and emergence: higher order information structure in protein interactomes across the tree of life, 2021, 13(12): 283–294 https://academic.oup.com/ib/article/13/12/283/6474503?login=false
由于生物网络中充满噪音且生物系统在进化过程中也普遍存在简并现象，这两个原因导致目前尚不清楚在何种尺度上分析生物系统才能最好地理解它们的功能。为此，Klein等分析了超过1800个物种的蛋白质相互作用网络，发现宏观尺度的网络具有更小的噪音和简并性，同时与不参与宏观尺度的节点相比，组成宏观尺度交互群中的节点更具有弹性。
4.Anshuman Swain, Sara D. Williams, Louisa J. Di Felice, et al. Interactions and information: exploring task allocation in ant colonies using network analysis. animal behaviour, 2022, 189: 69-81 https://www.sciencedirect.com/science/article/abs/pii/S0003347222001208
Swain等探索蚁群的交互历史对任务分配和任务切换的影响，使用有效信息研究噪声信息如何在蚂蚁之间传播。结果发现，蚁群之间历史交互程度影响任务的分配，并且具体交互中蚂蚁群体的类型决定了交互中的噪音。
其他参考文献：
5.Hoel Erik, Levin Michael. Emergence of Informative Higher Scales in Biological Systems: A Computational Toolkit for Optimal Prediction and Control. Communicative & Integrative Biology, 2020, 13(1): 108–18 https://www.tandfonline.com/doi/full/10.1080/19420889.2020.1802914
Erik Hoel等借助有效信息理论进一步研究了生物系统中的因果涌现，作者将有效信息应用到基因调控网络中，识别最能提供信息的心脏发育模型从而控制哺乳动物的心脏发育。
6.Simon Mattsson, Eric J. Michaud, Erik Hoel. Examining the causal structures of deep neural networks using information theory. arXiv:2010.13871, 2020, 66(5): 688 https://www.mdpi.com/1099-4300/22/12/1429
Marrow等尝试引入了一个基于信息论的指标即有效信息，来量化和跟踪训练过程中DNN因果结构的变化，从而可以判断模型的泛化能力，其中有效信息用于评估节点和边对每层下游目标的因果的影响程度。
7.Klein Brennan, Swain Anshuman, Byrum Travis, et al. Exploring Noise, Degeneracy and Determinism in Biological Networks with the Einet Package, 2022, 13(4): 799–804 https://besjournals.onlinelibrary.wiley.com/doi/full/10.1111/2041-210X.13805
由于生物网络中充满噪音使得很难理解其内部的运作原理，该工作进一步探索生物网络中的噪声、简并性和确定性三者之间的关系以及具体含义。
资料推荐：
复杂网络动力学系统重构文献：https://pattern.swarma.org/article/28
脑与涌现
推荐人：荣英淇
理想计划：将脑的涌现现象分为强涌现和弱涌现（见重点1，另外的思路是结合emergentism in neuroscience这个视角去补充内容），强涌现主要讨论脑与意识之间的关系，切入点是不同尺度下的因果结构（重点2），在讲明白这篇文章的同时也讲明白一些整合信息论的理念和基本计算方式（因为具体计算是基于此的），而弱涌现可能体现在脑的一些高阶关系上，其中重点想讲的是脑的协同功能交互（重点3）和高阶关系相对于传统功能连接网络的区别（重点4）。
重点解读文献：
1.Turkheimer F.E., Hellyer P., Kehagia A.A., et al. Weak vs. strong emergence for the modelling of brain function, 2019 https://pubmed.ncbi.nlm.nih.gov/30684520/.
（重点1）划分强涌现和弱涌现，为人对大脑功能的建模提供思想参考，并为处理弱涌现提供更具有参考价值的意见
2.Matteo Grasso, Larissa Albantakis, Jonathan P. Lang, et al. Causal reductionism and causal structures. nature neuroscience, 2021, 24(10): 1348-1355 https://www.nature.com/articles/s41593-021-00911-8.
（重点2）通过一个agent模型反驳因果上的还原论和整体论，说明因果不等价于预测和随附性。阐述因果结构的影响。
3.Andrea I. Luppi, Pedro A. M. Mediano, Fernando E. Rosas, et al. A synergistic core for human brain evolution and cognition. nature neuroscience, 2022, 25(6): 771-782 https://www.nature.com/articles/s41593-022-01070-0.
（重点3）将脑区域之间的功能交互区分为协同和冗余部分并进行分析
4.Thomas F. Varley, Maria Pope, Joshua Faskowitz, et al. Multivariate information theory uncovers synergistic subsystems of the human cerebral cortex. communications biology, 2023, 6(1): 1-12
https://www.nature.com/articles/s42003-023-04843-w.
（重点4）跳出传统的功能连接网络去分析脑区之间的高阶关系
其他参考文献：
5.Feinberg Todd E., Mallatt Jon. Phenomenal Consciousness and Emergence: Eliminating the Explanatory Gap, 2020, 11 https://www.frontiersin.org/articles/10.3389/fpsyg.2020.01041/full
涌现与意识之间联系的进一步讨论
6.Oizumi, M., Albantakis, L., & Tononi, G. (2014). From the phenomenology to the mechanisms of consciousness: Integrated Information Theory 3.0. PLoS computational biology, 10(5), e1003588. https://doi.org/10.1371/journal.pcbi.1003588
整合信息论的一篇阐释工作。整合信息论一方面作为强涌现假设的理论案例，另一方面也启发了 Erik Hoel 的因果涌现。
7.Albantakis L., Marshall W., Hoel E., et al. What caused what? A quantitative account of actual causation using dynamical causal networks. Entropy, 2019, 21(5): 459
https://pubmed.ncbi.nlm.nih.gov/33267173/
对于因果结构分析的定量描述框架。
8.Luppi A.I., Mediano P.A.M., Rosas F.E., et al. What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, 2021, 16;2021(2):niab027.
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8600547/
通过信息分解分析涌现出来的心理感受
9.Arturo E. Hernandez, Hannah L. Claussenius-Kalman, Juliana Ronderos, et al. Neuroemergentism: A framework for studying cognition and the brain. journal of neurolinguistics, 2019, 49: 214-223. https://www.sciencedirect.com/science/article/abs/pii/S0911604417301008#:~:text=Finally%2C%20Neuroemergentism%20represents%20an%20extension%20of%20an%20Emergentist,a%20number%20of%20changes%20across%20the%20entire%20organism
不同于在许多系统内部不同尺度下的涌现度量，对于这篇文章，涌现是一种解释性的框架，解释语言产生、人脸识别等认知功能发展上的涌现现象。
资料推荐：
涌现的探测
推荐人：陈思远
简介：首先综述涌现研究的各个方面，引出对涌现探测的研究。涌现探测旨在探测涌现形成与消退的时刻，有利于监测系统的宏观状态，对有害的涌现现象发出预警信号。涌现探测面临的挑战包括：如何定量地定义所关心的涌现现象，如何利用大量的个体感知数据建模系统的非线性动力学，如何揭示系统中与涌现相关的空间模式等。
重点解读文献：
1.Somayeh Kalantari, Eslam Nazemi, and Behrooz Masoumi. Emergence Phenomena in Self-organizing Systems: A Systematic Literature Review of Concepts, Researches, and Future Prospects. Journal of Organizational Computing and Electronic Commerce, 2020, 30(3):224–265
https://doi.org/10.1080/10919392.2020.1748977
全面综述涌现的定义、验证、探测、度量、预测、建模、仿真、控制等，为自组织系统中涌现现象的定量研究、与涌现相关的不同学科，提供较为完整的图景，由此引出对涌现探测的研究。
2.Eamonn O'toole, Vivek Nallur , Siobhán Clarke. Decentralised Detection of Emergence in Complex Adaptive Systems. ACM Transactions on Autonomous and Adaptive Systems, 2017, 12(1): 1-31
https://doi.org/10.1145/3019597
把涌现探测转化为变化点检测问题，在复杂适应系统无中心性的设定下，提出一种去中心化的涌现探测框架，在鸟群、人群、交通三个仿真系统上验证方法的有效性。
3.Eugene Santos, Yan Zhao, and Sergio Gomez. Automatic Emergence Detection in Complex Systems. Complexity, 2017, vol. 2017.
https://doi.org/10.1155/2017/3460919
基于子系统间的交互进行涌现探测。首先对涌现的不同类型进行形式化定义，将涌现探测转化为分类问题，使用一种概率图模型进行涌现探测。
4.Stephen Ranshous, Shitian Shen, Danai Koutra, Steve Harenberg, Christos Faloutsos, Nagiza F. Samatova. Anomaly Detection in Dynamic Networks: A Survey. WIREs Computational Statistics, 2015, 7(3):223–247.
https://doi.org/10.1002/wics.1347
复杂适应系统的涌现探测问题可以归结为动态图上的变化点检测问题。该论文较全面地综述了动态图上的异常检测问题（包括变化点检测）与方法，可用于研究涌现探测。
其他参考文献
5.Zhao Yan. Emergence in Collective Intelligence. Dartmouth College ProQuest Dissertations Publishing, 2019. 13812172. https://www.proquest.com/openview/ebe4917d08ef227590b6b109cb6cf488/1?pq-origsite=gscholar&cbl=18750&diss=y#
群体智能中的涌现现象。
6.M. Mnif, C. Müller-Schloer. Quantitative Emergence. 2006 IEEE Mountain Workshop on Adaptive and Learning Systems, 2006, pp. 78–84 https://doi.org/10.1109/SMCALS.2006.250695
通过香农熵度量系统的有序性，根据熵的改变量来探测涌现。
7.Erik Wijmans, Manolis Savva, Irfan Essa, Stefan Lee, Ari S. Morcos, Dhruv Batra. Emergence of Maps in the Memories of Blind Navigation Agents. International Conference on Learning Representations, 2023. https://openreview.net/pdf?id=lTt4KjHSsyl
智能体在导航过程中涌现出隐式地图。
8.Jie Ren, Mingjie Li, Qirui Chen, Huiqi Deng, Quanshi Zhang. Defining and Quantifying the Emergence of Sparse Concepts in DNNs. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 20280–20289 https://arxiv.org/abs/2111.06206
深度神经网络中稀疏概念的涌现。
9.Paul Bertens, Seong-Whan Lee. Emergence of Hierarchical Layers in a Single Sheet of Self-Organizing Spiking Neurons. Advances in Neural Information Processing Systems, 2022. https://proceedings.neurips.cc/paper_files/paper/2022/hash/2c625366ae28066fcb1827b44517d674-Abstract-Conference.html
深度卷积神经网络分层架构的涌现。
10.Mingjie Li, Shaobo Wang, Quanshi Zhang. Visualizing the Emergence of Intermediate Visual Patterns in DNNs. Advances in Neural Information Processing Systems, 2021. https://proceedings.neurips.cc/paper_files/paper/2021/hash/33ebd5b07dc7e407752fe773eed20635-Abstract.html
可视化深度神经网络的隐藏层涌现出的视觉模式。
11.Runtao Liu, Zhirong Wu, Stella Yu, Stephen Lin. The Emergence of Objectness: Learning Zero-shot Segmentation from Videos. Advances in Neural Information Processing Systems, 2021.
https://proceedings.neurips.cc/paper_files/paper/2021/hash/6d9cb7de5e8ac30bd5e8734bc96a35c1-Abstract.html
物体分割中的涌现现象。
点击“阅读原文”，报名读书会