几何图神经网络及其科学应用丨图神经网络与组合优化读书会·周三直播

分享内容简介

分享内容大纲

背景介绍

几何图神经网络

微观分子空间的应用例子

宏观具身空间的应用例子

总结

主要涉及到的前置知识

• 图神经网络 (Graph Neural Network)
• 对称性（Symmetry）
• 群表示论（Group Representation Theory）
• 抗体设计 (Antibody Design)
• 物理动力学模拟 (Physical Dynamics Simulation)

• 强化学习 (Reinforcement Learning)

主讲人介绍

主要涉及到的参考文献

不变图神经网络：将数据映射到某个不变特征，使得原始数据无论做任何变换，不变特征均不受影响。

1.K. T. Schütt, H. E. Sauceda, P.-J. Kindermans, A. Tkatchenko, and K.-R. Müller. SchNet – A deep learning architecture for molecules and materials. J.Chem.Phys 2018.

简称Schnet，早期的不变图神经网络。

Github代码：https://github.com/atomistic-machine-learning/SchNet

2.Johannes Gasteiger, Janek Groß, Stephan Günnemann. Directional Message Passing for Molecular Graphs. ICLR 2020.

简称DimNet，在GNN引入了带方向的消息传播。

OpenReview: https://openreview.net/forum?id=B1eWbxStPH

Github代码：https://github.com/gasteigerjo/dimenet

3.Johannes Gasteiger, Florian Becker, Stephan Günnemann. GemNet: Universal Directional Graph Neural Networks for Molecules. NeurIPS 2021.

简称GemNet，一种不变GNN，考虑了球面坐标，效果值得信赖。由DimNet的主要作者打造。

OpenReview: https://openreview.net/forum?id=HS_sOaxS9K-

等变图神经网络：对模型输入做一定的变换之后，模型输出做同样的变换。

4.Nathaniel Thomas, Tess Smidt, Steven Kearnes, Lusann Yang, Li Li, Kai Kohlhoff, Patrick Riley. Tensor field networks: Rotation- and translation-equivariant neural networks for 3D point clouds. 2018.

这篇论文简称张量场网络TFN，是最早同时满足旋转、平移等变的GNN，在分子动力模拟上进行验证，领域必读文章。

GitHub代码：https://github.com/tensorfieldnetworks/tensorfieldnetworks

5.（重点解读）Victor Garcia Satorras, Emiel Hoogeboom, Max Welling. E(n) Equivariant Graph Neural Networks. ICML 2021.

瞩目的EGNN，目前被广泛使用的等变图神经网络模型，领域必读文章。

PaperTalk: https://papertalk.org/papertalks/32722

Github代码：https://github.com/vgsatorras/egnn

6.Johannes Brandstetter, Rob Hesselink, Elise van der Pol, Erik J Bekkers, Max Welling. Geometric and Physical Quantities Improve E(3) Equivariant Message Passing. ICLR 2022.

简称SEGNN，在EGNN基础上引入了higer-degree 不可约表示，基于这篇文章可以概括性学习E3不变表示相关知识。

OpenReview: https://openreview.net/pdf?id=_xwr8gOBeV1

几何图神经网络在科学应用中有着广泛的场景，包括抗体设计，物理场景模拟，智能体控制等。

抗体设计

7.Wengong Jin, et al. Iterative Refinement Graph Neural Network for Antibody Sequence-Structure Co-design. ICLR, 2022.

论文十问：https://zhuanlan.zhihu.com/p/484584576

Github代码：https://github.com/wengong-jin/RefineGNN

8.（重点解读）Xiangzhe Kong, et al. Conditional Antibody Design as 3D Equivariant Graph Translation. ICLR, 2023.

简称MEAN，使用了等变图神经网络完成抗体CDR区域1D氨基酸序列和3D结构的同时生成和优化。

知乎论文解读：https://zhuanlan.zhihu.com/p/623640186

OpenReview: https://openreview.net/pdf?id=LFHFQbjxIiP

物理场景模拟

9.Sanchez-Gonzalez et al. Learning to Simulate Complex Physics with Graph Networks. 2020.

知乎论文解读：https://zhuanlan.zhihu.com/p/481545424

Github代码：https://github.com/deepmind/deepmind-research/tree/master/learning_to_simulate

10.（重点解读）Jiaqi Han et al. Learning Physical Dynamics with Subequivariant Graph Neural Networks. NeurIPS,2022.

OpenReview：https://openreview.net/forum?id=siG_S8mUWxf

智能体运动控制

11.Hong, S. et al. Structure-aware transformer policy for inhomogeneous multi-task reinforcement learning. ICML, 2021.

知乎论文解读：https://zhuanlan.zhihu.com/p/508907410

OpenReview: https://openreview.net/forum?id=fy_XRVHqly

Github代码：https://github.com/sunghoonhong

12.（重点解读）Runfa Chen, et al. Subequivariant Graph Reinforcement Learning in 3D Environments. ICML 2023

直播信息

自1956年“人工智能”诞生于达特茅斯会议以来，已经经历了从早期的以符号推理为主体的第一代人工智能，和以深度神经网络、机器学习为主体的第二代人工智能。ChatGPT的横空出世、生成式AI的普及、AI for Science等新领域的突破，标志着第三代人工智能的呼之欲出。可微分编程、神经微分方程、自监督学习、生成式模型、Transformer、基于图网络的学习与推理、因果表征与因果推断，基于世界模型的强化学习……，所有这些脱胎于前两代人工智能的技术要素很有可能将构成第三代人工智能的理论与技术的基础。