图神经网络(Graph Neural Networks，GNN)
作者：李博涵，曾实，杨松林，吴佳骏（南京航空航天大学）
图神经网络是一种学习图结构数据的神经网络，相比其他图学习算法，图神经网络具有更高的准确性和鲁棒性。通过对节点和边进行建模，图神经网络能够提取图结构数据的特征模式和深层次语义特征，因其强大的非线性拟合能力而被广泛应用于分类、分割、预测、聚类、生成等任务。
InfoBox：
中文名：图神经网络
外文名：Graph Neural Networks
简写：GNN
学科：机器学习、图数据库
实质：综合了卷积网络、循环网络和深度自动编码器的思想，有效处理图结构数据的神经网络。
背景：
20世纪末，基于传统人工神经网络的深度学习迅猛发展，促使基于数据驱动的第二代人工智能快速崛起[1]。尽管深度学习在处理大数据上表现出许多优势，但其应用范围仅限于欧氏空间数据（如图像）和时序结构数据（如文本），因此需要进一步探索非结构化数据，例如图的表示形式[2]。图（Graph）也是一种数据结构，它包含节点和边两个部分。图神经网络（GNN）是近年来在传统深层神经网络基础上发展起来的一个新领域，也可以称之为图上的深度学习。图神经网络的概念由Gori等人[3]首次提出，并由Scarselli等人[4]进一步阐明，将神经网络方法拓展到了图数据计算领域。受到卷积神经网络（CNN）提取多尺度局部空间特征以构建更高级表示的启发，GNN基于其局部连接[5]、权重共享[6]和多层叠加[7]的核心特点对非欧几里得数据进行嵌入，从而学习图的节点、边或子图以得到低维向量表示。Wang等人[8]提出了一种基于层次注意力的新型异构图神经网络，通过节点级和语义级注意力充分考虑了节点和元路径的重要性，以分层方式聚合基于元路径邻域节点集的特征来生成节点嵌入。Chen等人[9]提出了迭代学习图结构和图嵌入的学习框架，基于巧妙的节点嵌入来学习更好的图结构。相比基于传统特征工程构建特征的方法，图嵌入具有共享权重的特点和良好的泛化能力。由于图的表达能力较强，Battaglia等人[10]将图用于自然科学领域，提出首个通用的可学习物理引擎，实现了各种复杂领域中以对象和关系为中心的推理；Matsumoto等人[11]把图用于知识图谱补全，提出了Graph-NNs模型以计算知识库外实体嵌入，解决了不重新训练场景下的知识库外实体问题；Lian等人[12]将图用于社会网络建模，提出了一种基于图卷积神经网络（GCN）的新型社交垃圾邮件发送者检测模型。
技术应用领域：
GNN适用于多领域的应用，包括计算机视觉、自然语言处理、智能交通和推荐系统等。
1、计算机视觉。GNN在计算机视觉中的应用包括场景图生成、点云分类和动作识别。
（1）场景图生成
一方面，GNN可以用于将图像解析为语义化的图结构，Zhang等人[13]提出了一个高效学习主语和宾语嵌入表示的模型，该模型通过保持图像和语义的相关性来实现语义图的构建。另一方面，GNN同样可以用于将自然语言解析为语义图，反过来根据场景图生成图像，Johnson等人[14]提出了一个图像生成网络，该网络基于结构化场景图明确地描述对象和关系，以此高效地生成复杂图像。
（2）点云分类
点云是激光雷达扫描记录的一组三维点，图卷积神经网络可以用于生成点云的拓扑结构。Wang等人[15]提出一个兼顾点之间局部几何特征的方法，更好地实现点云分类任务。Wang等人[16]将图注意力机制引入点云分类，通过计算中心点与每一个邻接点的边缘权重，从而使得网络能在分割的边缘部分取得更好的效果。
（3）视频动作识别
为了更好的理解视频内容，可以将视频中人类的关节建模为图结构。在实际应用中，可以把人类关节位置的时间序列数据作为输入，使用时空图神经网络（STGNNs）来学习人类动作模式。Lin等人[17]提出了一种称为时空图卷积网络 (ST-GCN) 的新型动态骨架模型，该模型能够从数据中自动学习空间和时间模式，具有更强的表达及泛化能力。Lu等人[18]提出了一种用于骨架行为视频中动作识别的深度渐进强化学习（DPRL）方法，并采用图卷积神经网络来捕获关节之间的依赖关系以进行动作识别。
2、自然语言处理。GNN可以用于文本分类以及构建语法依赖树等。Marcheggiani等人[19]提出了基于CNN/RNN句子编码器的Syntactic GCN，该模型通过生成句法依赖树学习潜在的词表示。为编码图形级语义信息，Song等人[20]提出了Graph-LSTM，弥补了序列LSTM在图结构提取方面的缺陷，实现更有效的建模。在图序列学习和神经机器翻译方面，Beck等人[21]提出了GGNN，该模型可以更完整的捕获图信息，解决了线性化和参数爆炸导致的数据丢失问题。
3、智能交通。GNN可用于特定时期出租车需求的预测，结合过往的出租车需求、天气数据等特征，Yao等人[22]将LSTM、CNN和LINE[23]训练的网络嵌入结合在一起，形成对每个位置的联合表示，从而实现预测。
4、推荐系统。在推荐系统中，GNN将项目和用户均视作节点，基于各节点相互之间的关系进行缺失连接的预测，从而实现对用户的推荐。Van等人[24]和Ying等人[25]提出了一种使用ConvGNNs作为编码器的GAE。为学习底层的评级过程，Monti等人[26]将RNNs与图形卷积相结合。
未来发展：
GNN未来在以下三个方面可开展研究：
（1）GNN的优化问题。将神经元的感受野引入GNN可能会获得更快的学习速度和更好的预测效果，如何实现两者的结合是需要继续探索的领域之一。另外，GNN还可以进行节点结构的进一步改造和网络结构深度的探索，从而实现对高维特征信息的提取，提高网络性能。
（2）GNN的表达能力。考虑到单一数据类型的局限性，可以将多种数据类型引入网络节点，以此增强GNN对真实数据分布的刻画能力。
（3）GNN的可解释性。将图结构的关联性特征与传统贝叶斯因果关系网络相结合，有可能进一步实现可解释性的证明。
参考文献
[1] 张钹, 朱军, 苏航. 迈向第三代人工智能[J]. 中国科学：信息科学, 2020, 50(9):22.
[2] Han J , Micheline K . Data Mining: Concepts and Techniques[J]. Data Mining Concepts Models Methods & Algorithms Second Edition, 2006, 5(4):1 - 18.
[3] Gori M , Monfardini G , Scarselli F . A new model for learning in graph domains[C]// IEEE International Joint Conference on Neural Networks. IEEE, 2005.
[4] Scarselli F , Gori M , Tsoi A C , et al. The Graph Neural Network Model[J]. IEEE Transactions on Neural Networks, 2009, 20(1):61.
[5] Hubel D H , Wiesel T N . Receptive fields, binocular interaction and functional architecture in the cat's visual cortex.[J]. Journal of Physiology, 1962, 160(1):106-154.
[6] Lecun Y , Bottou L . Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.
[7] Krizhevsky A , Sutskever I , Hinton G . ImageNet Classification with Deep Convolutional Neural Networks[J]. Advances in neural information processing systems, 2012, 25(2).
[8] Wang X , Ji H , Shi C , et al. Heterogeneous Graph Attention Network[J]. 2019.
[9] Chen Y , Wu L , Zaki M J . Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings[J]. 2020.
[10] Battaglia P W , Pascanu R , Lai M , et al. Interaction Networks for Learning about Objects, Relations and Physics[J]. Curran Associates Inc. 2016.
[11] Hamaguchi T , Oiwa H , Shimbo M , et al. Knowledge Transfer for Out-of-Knowledge-base Entities: A Graph Neural Network Approach[J]. 2017.
[12] Wu Y , Lian D , Xu Y , et al. Graph Convolutional Networks with Markov Random Field Reasoning for Social Spammer Detection[C]// National Conference on Artificial Intelligence. Association for the Advancement of Artificial Intelligence (AAAI), 2020.
[13] Zhang J , Kalantidis Y , Rohrbach M , et al. Large-Scale Visual Relationship Understanding:, 10.48550/arXiv.1804.10660[P]. 2018.
[14] Johnson J , Gupta A , Fei-Fei L . Image Generation from Scene Graphs[J]. IEEE, 2018.
[15] Wang Y , Sun Y , Liu Z , et al. Dynamic Graph CNN for Learning on Point Clouds:, 10.1145/3326362[P]. 2018.
[16] Wang L , Huang Y , Hou Y , et al. Graph Attention Convolution for Point Cloud Semantic Segmentation[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2019.
[17] Yan S , Xiong Y , Lin D . Spatial Temporal Graph Convolutional Networks for Skeleton-based Action Recognition[J]. 2018.
[18] Tang Y , Yi T , Lu J , et al. Deep Progressive Reinforcement Learning for Skeleton-based Action Recognition[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2018.
[19] Marcheggiani D , Bastings J , Titov I . Exploiting Semantics in Neural Machine Translation with Graph Convolutional Networks[J]. 2018.
[20] Song L , Zhang Y , Wang Z , et al. A Graph-to-Sequence Model for AMR-to-Text Generation:, 10.18653/v1/P18-1150[P]. 2018.
[21] Beck D , Haffari G , Cohn T . Graph-to-Sequence Learning using Gated Graph Neural Networks:, 10.18653/v1/P18-1026[P]. 2018.
[22] Yao H , Fei W , Ke J , et al. Deep Multi-View Spatial-Temporal Network for Taxi Demand Prediction[J]. 2018.
[23] Jian T , Meng Q , Wang M , et al. LINE: Large-scale Information Network Embedding: International World Wide Web Conferences Steering Committee, 10.1145/2736277.2741093[P]. 2015.
[24] Berg R , Kipf T N , Welling M . Graph Convolutional Matrix Completion[J]. 2017.
[25] Ying R , He R , Chen K , et al. Graph Convolutional Neural Networks for Web-Scale Recommender Systems: ACM, 10.1145/3219819.3219890[P]. 2018.
[26] Monti F , Boscaini D , Masci J , et al. Geometric Deep Learning on Graphs and Manifolds Using Mixture Model CNNs[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017.
计算机术语审定委员会(Committee on Terminology)主要职能为收集、翻译、释义、审定和推荐计算机新词，并在CCF平台上宣传推广。这对厘清学科体系，开展科学研究，并将科学和知识在全社会广泛传播，都具有十分重要的意义。
术语众包平台CCFpedia的建设和持续优化，可以有效推进中国计算机术语的收集、审定、规范和传播工作，同时又能起到各领域规范化标准定制的推广作用。
新版的CCFpedia计算机术语平台(http://term.ccf.org.cn)将术语的编辑运营与浏览使用进行了整合，摒弃老版中跨平台操作的繁琐步骤，在界面可观性上进行了升级，让用户能够简单方便地查阅术语信息。同时，新版平台中引入知识图谱的方式对所有术语数据进行组织，通过图谱多层关联的形式升级了术语浏览的应用形态。
主任：
刘挺（哈尔滨工业大学）
副主任：
王昊奋（同济大学）
李国良（清华大学）
主任助理：
李一斌（上海海乂知信息科技有限公司）
执行委员：
丁军（上海海乂知信息科技有限公司）
林俊宇（中国科学院信息工程研究所）
兰艳艳（清华大学）
张伟男（哈尔滨工业大学）
