一、介绍

概览

研究动机：现实应用中，大规模的图数据往往是动态的而不是静态的。新的节点和边会随时出现。而当这种情况发生后，并不容易决定是重新训练模型还是在原有模型的基础上进行训练。作者将经过预训练的GNN和从头再训练的GNN进行了对比，对于新插入的节点和边，经过预训练的GNN性能强于在新插入的节点和边的图数据上进行重新训练的GNN。

本文中，作者创建了一个专用实验来评估图神经网络的推理能力。作者将网络模型应用于两种训练测试设置，一个有大量含标签的节点，另外一个只有少许的节点有标签。在训练之后，会向graph中插入新的节点和边，然后模型再进行少许的参数更新。作者仔细分析了每个推断时期后的测试准确性，同时比较了预训练与未预训练的网络性能。作者将GCN，GAT，GraphSAGE分别进行了实验。作者进行了60个实验，每个实验100次重复，以减轻随机效应。作者发现，预训练对于所有的模型是确实有益的。这个结果适用于两个训练测试设置，带有多个标记节点的数据集，带有少许标记节点的数据集。
总之，本文的贡献：

提供了一个实验装置来评估图神经网络的推理能力。
提供的经验证据表明，预训练在两种情况下都有用：训练集测试集比率高或低时。

Inductive learning 与 Transductive learning

参考：link
Inductive learning：与其他类型的数据不同，图数据中的每一个节点可以通过变得关系利用其它节点的信息，这样就产生了一个问题，如果训练集上的节点通过边关联到了预测集或者验证集的节点，那么在训练的时候能否用他们的信息呢？如果训练时用到了测试集或者验证集样本的信息（或者说，测试集和验证集在训练的时候是可见的），我们把这种学习方式成为transductive learning。反之，成为Inductive learning。显然，我们所处理的大多数机器学习问题都是inductive learning。因为我们刻意的将样本集分为训练/验证/测试，并且训练的时候只使用训练样本。然而，在GCN中，训练节点手机邻居信息时用到了测试或者验证样本，所以是transductive的。

二、实验设置

在训练集中，只有两个节点都存在时，他们的边才存在。训练过程分为两步：首先，在经过标记的训练集上对模型进行预训练。之后，将新的节点和边加入图中然后进行少许的参数更新。并且新的节点并不引进新的标签。他们会提供特征并连接到有标签的节点。我们在每个推断时期之前和之后评估测试节点（这些节点是未见节点的子集）的准确性。对于每个模型，我们进行了200个epoch预训练并与不进行预训练的情况进行比较。在后一种情况下，训练在推理期间开始，这等效于每当插入新节点和边时从头开始进行训练。这使我们能够评估预训练是否有助于将图神经网络应用于动态图。

实验结果：

可以发现经过预训练后模型的推理能力显著增强