随着图神经网络在各领域的深入应用，如何减小图神经网络对大量标签数据的依赖成为了一个至关重要的问题。在图像和自然语言处理领域，预训练技术是一个有效解决该问题的关键技术，因此，如何对图神经网络进行有效的预训练是一个非常有价值的研究问题。

基于此，本文总结了6篇尝试解决“图神经网络有效的预训练”难题的论文。其中，探索的角度包括：

1. 如何同时学习到有效的局部和全局信息；

2. 如何学习到通用的、可迁移的拓扑结构信息；

3. 如何用概率生成模型对图分布进行建模；

4. 图神经网络在预训练的过程中怎样学习微调；

5. 如何增强图神经网络层的聚合能力；

6. 如何将目标任务以及监督信息融入自监督任务中。

Strategies for Pre-Training Graph Neural Networks

论文链接：

https://arxiv.org/pdf/1905.12265.pdf

本论文是斯坦福大学 Jure Leskovec 教授的团队在 ICLR 2020 上发表的工作。本文提出了一种基于自监督方法的图神经网络模型的预训练策略，这种策略的关键在于能够同时在单个节点和整张图的角度对图神经网络进行预训练，即能够让预训练的图神经网络同时学习到有效的局部和全局信息。该策略包含节点级别的预训练和图级别的预训练。节点级别的预训练包括上下文预测任务和特征预测任务。如图1所示，在上下文预测任务中，任务目标是使得处于相似上下文结构的节点被图神经网络映射到相近的空间；而在特征预测任务中，任务目标是使图神经网络模型能够通过局部结构预测点或者边的特征。图级别的预训练包括一系列的监督任务，例如，训练图神经网络模型预测化学分子的已知特性或者蛋白质的已知功能。

图1：节点级别的预训练方法

本工作采用了 GIN 模型作为预训练的图神经网络模型，实验结果表明，经过该策略预训练的 GIN 模型，相较于未预训练的 GIN 模型，在生物领域的图分类任务上的 ROC-AUC 表现能提高9.5%。同时，本工作还构造并共享了两个新的预训练图数据集，分别是一个包括200万张图的化学类数据集和一个包括39.5万张图的生物类数据集。

GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

论文链接：

https://arxiv.org/pdf/2006.09963.pdf

本论文是由清华大学唐杰教授的团队在 KDD 2020 上发表的工作。本文提出了一个基于对比学习的图神经网络模型预训练框架 GCC，该框架的关键思想在于通过对比学习的策略对图神经网络模型进行预训练，使其能学习到通用的、可迁移的拓扑结构信息。具体来说，GCC 会定义一个节点的r阶领居网络中随机采样的子图为一个样本，同一个节点会对应多个随机采样的子图样本，这些属于同一个节点的子图样本中的任意两个样本会构成对比学习中的一个正例，而属于不同节点的子图样本中的任意两个样本则构成对比学习中的一个负例，GCC 的预训练任务是使目标图神经网络能够区分正负例。如图2所示，同样为红色节点对应的两个子图构成一个正例，而由蓝色节点产生的子图和红色节点产生的子图与红色节点产生的子图构成了一个负例，此处的训练目标是使正例中的子图的图表达更接近，而使负例中的子图的图表达更不同。

图2：GCC 对比学习示例

该工作在多个图下游任务中应用了 GCC 框架，实验结果展示经过 GCC 框架预训练的图神经网络模型，相较直接在目标任务上训练的图神经网络模型，能取得相似或者更好的表现。

GPT-GNN: Generative Pre-Training of Graph Neural Networks

论文链接：

https://arxiv.org/pdf/2006.15437.pdf 

本论文是由加州大学洛杉矶分校孙艺洲教授的团队在 KDD 2020 发表的工作。受 BERT 启发，本文提出了一个基于生成任务的图神经网络模型预训练框架 GPT-GNN。GPT-GNN 提出用概率生成模型对图分布进行建模，其主要思想是最大化输入属性图的生成概率。GPT-GNN 的训练任务包含属性生成任务和结构生成任务。具体来说，GPT-GNN 首先会对图中的节点进行随机排序，再遮掩部分节点的属性特征和边结构，然后按照顺序依次生成遮掩节点的属性特征和边结构。如图3所示，GPT-GNN 先对输入图数据进行预处理，即确定节点顺序和遮掩部分节点，然后再根据现有的图信息依次生成遮掩节点的属性特征和边结构，直至完成整张图的生成。

图3：GPT-GNN 的属性图生成过程示例

GPT-GNN 关注的是相同领域图数据的预训练问题——其对应的预训练数据和下游目标任务数据需要来自于同一个领域。作者在亿级图数据上对 GPT-GNN 算法进行了实验和测试，实验结果显示经过 GPT-GNN 框架预训练的图神经网络模型，相较于未经过预训练的模型，在多个下游任务上能得到高达9.1% 的效果提升。

Learning to Pre-train Graph Neural Networks

论文链接：

http://www.shichuan.org/doc/101.pdf 

本论文是由北京邮电大学和腾讯等多家机构联名在 AAAI 2021 上发表的工作。文章指出，现有的图神经网络预训练工作基本上都遵从一个两步范式，也就是先在大量无监督数据上对模型进行预训练，再在目标下游数据上对模型进行微调。本文作者认为，这样的预训练范式存在一个问题，即预训练和微调过程的优化目标不一致。针对这个问题，为了减小预训练和微调过程的优化目标不一致性，本文提出了一个基于元学习思想的自监督预训练策略 L2P-GNN。L2P-GNN 的关键思想在于在预训练的过程中学习如何微调，以使得预训练后的模型能够针对目标下游任务被快速、有效地微调。为了同时捕捉图中的局部信息和全局信息，L2P-GNN 还采用了节点级别和图级别的双适应机制。如图4所示，给定预训练图数据集，L2P-GNN 会先在图数据集上创建数个节点级别的子任务和图级别的任务，同时，每个训练任务的数据集都会被划分为支撑集和测试集。在预训练过程中，元模型在子任务支撑集和图任务支撑集上进行双适应调整，在子任务测试集和图任务测试集上进行梯度回传。作者在一个公共蛋白质数据集和一个新型书目图数据上对 L2P-GNN 进行了系统的实验，实验结果证明 L2P-GNN 可以学习到有效的、可迁移的先验知识，以辅助下游任务的解决。

图4：L2P-GNN 预训练框架示意

Pre-Training Graph Neural Networks for Cold-Start Users andItems Representation

论文链接：

https://arxiv.org/pdf/2012.07064.pdf  

本论文是由中国人民大学陈红教授的团队发表在 WSDM 2020 上发表的工作。文章针对推荐系统应用场景中冷启动用户和物品的表示不准确的问题，提出了一种图神经网络模型预训练策略。该策略首先通过遮掩部分用户或物品节点的邻居节点以模拟真实场景下的冷启动情况，然后通过根据未遮掩节点对目标节点的表示进行重建以训练图神经网络模型。此处的表示重建任务就是预训练任务，目标节点的目标表示可以通过任意经典推荐算法得到。

同时，为了进一步减小图神经网络信息聚合过程中冷启动邻居节点的影响，本文提出了一个基于自注意力机制的元聚合器和一个自适应邻居节点选择器，以增强图神经网络层的聚合能力。文章作者在三个公开推荐数据集上对提出的预训练策略进行了测试，实验结果证明了预训练策略在冷启动推荐系统应用场景下的有效性。

Self-supervised Learning on Graphs: Deep Insights and New Directions

论文链接：

https://arxiv.org/pdf/2006.10141.pdf 

本论文是由密歇根州立大学汤继良教授的团队在2020年发表的工作。文章针对图上的自监督任务进行了深入和广泛地探索和研究，旨在加深对图数据上自监督学习的认识并获得新的启发。文章还研究了在节点分类任务场景下，多种自监督学习方法对模型分类性能的影响。

本文首先探究了多种基本自监督学习任务对模型性能的影响，将基本自监督学习任务分为了基于局部结构和全局结构信息的结构信息预测任务，以及基于节点或者边的特性的预测任务，并通过大量实验研究了包括节点性质预测和遮掩边预测在内的六项基本自监督学习任务，同时还探究了“联合训练”和“分步训练”对模型性能的影响。通过大量的实验结果，文章指出：“联合训练”方式在大部分情况下能获得比“分步训练”更好的性能提升；基于结构信息和节点或者边特性信息的自监督任务都有让模型性能提升的潜能，而全局结构信息相较于局部结构信息，对模型性能提升的作用更为明显；图神经网络模型能够天然地学习到一些结构信息，因此，基于一些图神经网络不易学习到的结构信息的自监督学习任务能够对模型性能的提升有更大的作用。

基于这些观察与分析，文章提出了一个自监督学习任务设计的新方向——将目标任务以及监督信息融入自监督任务的设计。具体来说，本文提出了四种新的基于目标任务标签信息的高级自监督学习任务，并通过大量实验证明了这类自监督学习任务的有效性，为自监督学习任务的设计思路提供了宝贵的借鉴与启发。

你也许还想看：