简介面向图神经网络与链路预测初学者这份资源以Cora和Citeseer两个经典学术引文网络为实验对象完整演示了如何通过图卷积网络完成链路预测。项目包含数据预处理、模型构建、训练与评估全流程适合需要对照代码理解消息传递机制与图结构学习的学习者。压缩包大小仅7KB共三个用Python编写的脚本分别负责数据读取与图构造、图卷积模型定义、训练与测试结构清晰便于逐行研读。目前已有三千零七十人学习浏览代码简洁但覆盖了邻接矩阵构建、特征处理、负采样、损失计算与曲线下面积评估等关键环节。对于想系统学习图神经网络的开发者这份材料能提供从数据构造到模型评估的完整指引通过运行这套最小实现可快速掌握图卷积网络用于链路预测的完整思路并迁移到其他图数据实验。1. 链路预测从哪入手先拿Cora和Citeseer两个老牌引文网络试手做图神经网络的人迟早要撞上链路预测这道坎给你一张图的一部分边让你猜剩下的边连在哪。我之前在某个项目里用GCN图卷积神经网络在Cora和Citeseer两个引文数据集上做链路预测原以为把节点特征塞进模型、跑个二分类就完事结果第一版AUC只有0.58跟抛硬币没区别。后来发现问题不在模型而在边的构造方式——链路预测的核心不是学节点分类而是学“边存在概率”的分布。这两个数据集虽然规模小但足够暴露GCN在边任务上的所有坑数据泄漏、负采样偏差、过平滑、指标虚高。这篇文章把整个实验链路拆开讲从数据预处理到训练循环再到二次开发新手能照着跑通熟手能直接改成自己的图嵌入工具。2. 数据与任务定义Cora和Citeseer里“边”到底在预测什么2.1 引文网络的数据结构节点、特征、邻接矩阵Cora和Citeseer都是论文引用网络节点是论文边是引用关系。Cora有2708个节点、5429条边每个节点带一个1433维的词袋特征Citeseer有3327个节点、4732条边特征维度是3703。这两个数据集常被当成图节点分类的基准但做链路预测时你得把它们看成“不完整图”随机藏掉一部分边当测试标签让模型预测这些藏起来的边是否存在。拿到手的数据通常有三个部分features节点特征矩阵形状是 N×F、adjacency邻接矩阵形状是 N×N、labels节点类别标签链路预测时用不上。我一般会把邻接矩阵转成COO格式的edge_index因为PyG和DGL的输入接口都吃这个格式。转换逻辑很简单adjacency.nonzero()拿出所有有边的坐标对再按行堆叠成[2, num_edges]的张量。import torch import numpy as np def load_citation_data(adj_path, feat_path): # 假设原始数据是scipy稀疏矩阵和numpy数组 adj np.load(adj_path) # shape: [N, N] features np.load(feat_path) # shape: [N, F] # 转成edge_index: [2, E] rows, cols np.nonzero(adj) edge_index np.stack([rows, cols], axis0) edge_index torch.tensor(edge_index, dtypetorch.long) # 特征归一化行归一化是常见做法能降低词频差异的影响 row_sum features.sum(axis1, keepdimsTrue) features features / row_sum features torch.tensor(features, dtypetorch.float) return edge_index, features这里有个细节邻接矩阵要不要去自环在节点分类里GCN通常会加自环让每个节点聚合自身信息。但链路预测的边预测阶段自环会导致“预测节点自己连自己”成隐患。我一般保留原始自环Cora本身没有自环而在GCN层内部再加自环这样模型学的“邻居聚合”和“链路判别”是解耦的。另外特征归一化不要省Citeseer的特征是0/1词袋行归一化后每个向量的模长一致训练更稳。2.2 正样本与负样本的构造策略链路预测是个典型的二分类问题但正负样本怎么来直接决定模型学到什么。正样本是现有边里的子集负样本是图中不存在的边。最直观的做法是从全部未连接的节点对里均匀采样但这里有个坑Cora的2708个节点全部组合有约366万对其中只有5429条边负样本远远多于正样本。如果不做限制模型会倾向把所有边都预测成“不存在”因为这样正确率最高。我用的策略是“训练集可见测试集隐藏”先把边随机分成训练边、验证边、测试边三部分比例通常是80/10/10。训练时模型只能看到训练边的连接状态验证和测试边的存在性对模型是隐藏的。对训练集负样本从“非训练边且非测试边”的节点对里采数量与训练正样本等比例对验证和测试集负样本从“所有未出现在训练边里的节点对”里采。这样操作能避免训练负样本和测试正样本重叠防止标签泄漏。def split_edges(edge_index, num_nodes, train_ratio0.8, val_ratio0.1): num_edges edge_index.shape[1] perm torch.randperm(num_edges) num_train int(num_edges * train_ratio) num_val int(num_edges * val_ratio) train_idx perm[:num_train] val_idx perm[num_train:num_train num_val] test_idx perm[num_train num_val:] train_edges edge_index[:, train_idx] val_edges edge_index[:, val_idx] test_edges edge_index[:, test_idx] return train_edges, val_edges, test_edges注意这里所有边都按序号切分但没考虑双向边。Cora的邻接矩阵是对称的所以edge_index里每条边会出现两次i→j和j→i。如果直接切分同一条物理边会同时出现在训练和测试里造成严重的数据泄漏。我通常先对edge_index按行排序、取唯一列再切分最后在构造样本时手动补反向边。这个细节不处理好测试AUC能虚高到0.98。2.3 评估指标AUC与AP怎么算链路预测的常用指标是AUCROC曲线下面积和AP平均精度。AUC衡量的是“随机抽一条正边、一条负边模型给正边打更高分的概率”AP则是所有阈值下精确率召回率的加权平均。对引文网络这种极度稀疏的图AP比AUC更敏感——因为负样本远多于正样本精确率会被大量假阳性拉低。计算时有个工具函数把预测分数和真实标签丢给sklearn.metrics.roc_auc_score和average_precision_score。但前提是预测分数和标签一一对应。我踩过torch.utils.data.DataLoader打乱顺序导致预测对不齐的坑所以评估阶段我从来不用DataLoader直接全量前向保持张量索引顺序。from sklearn.metrics import roc_auc_score, average_precision_score def evaluate(model, edge_index_pos, edge_index_neg, features): model.eval() with torch.no_grad(): embed model(features, edge_index_pos) # 用训练边做消息传递 # 正样本分数 pos_score model.decode(embed, edge_index_pos) # 负样本分数 neg_score model.decode(embed, edge_index_neg) scores torch.cat([pos_score, neg_score]).cpu().numpy() labels torch.cat([torch.ones(pos_score.size(0)), torch.zeros(neg_score.size(0))]).cpu().numpy() auc roc_auc_score(labels, scores) ap average_precision_score(labels, scores) return auc, ap注意model.decode用的是同一个embed也就是说正负样本共享节点嵌入。如果对正样本和负样本分别跑一次前向嵌入会因为消息传递路径不同而产生差异评估就不公平了。正确的姿势是先用训练边外加验证边也行做一次完整的GCN前向得到嵌入再用这个固定嵌入去预测所有候选边的分数。这也是很多开源库的默认评估方式理解这一点后续调参才不会焦虑。3. 图卷积神经网络的核心模块拆解从邻域聚合到链路打分3.1 GCN层的前向传播实现GCN在PyG里的标准实现只有几十行核心公式是对每个节点聚合邻居的特征除以根号度再经过线性变换和非线性激活。链路预测和节点分类用同一个GCN层区别只在最后的输出头。我先给一个不带自环的GCN层实现方便在底层看清每一步张量形状。import torch.nn as nn import torch.nn.functional as F from torch_geometric.nn import MessagePassing class GCNConv(MessagePassing): def __init__(self, in_channels, out_channels): super().__init__(aggradd) # 聚合方式用求和 self.lin nn.Linear(in_channels, out_channels, biasFalse) def forward(self, x, edge_index): # x: [N, in_channels], edge_index: [2, E] # 先线性变换再做邻居聚合 x self.lin(x) # 计算度用于归一化 row, col edge_index deg degree(col, x.size(0), dtypex.dtype) deg_inv_sqrt deg.pow(-0.5) deg_inv_sqrt[deg_inv_sqrt float(inf)] 0 norm deg_inv_sqrt[row] * deg_inv_sqrt[col] # propagate会调用message和aggregate return self.propagate(edge_index, xx, normnorm) def message(self, x_j, norm): # x_j: 每条边源节点的特征 return norm.view(-1, 1) * x_j这里MessagePassing是PyG的基类propagate内部会把edge_index的源节点特征抽出来调message然后按目标节点聚合。我习惯把aggr设为add因为Cora的节点度差异不大mean聚合和add聚合结果接近但add能保留更多结构信息。要注意这里没有自环所以中心节点不会聚合自己的特征。通常我后面还会加一个自环版本或者干脆在forward里改边索引。3.2 两跳传播与过平滑问题链路预测里GCN层数不是越多越好。Cora这类同配性较好的引文网络两到三层能捕捉到“共同邻居”结构两个节点如果有大量共同引用它们更可能被同一个人引用边存在的概率就高。但如果堆到五层以上所有节点的嵌入会趋于一致这就是常说的“过平滑”。我拿Cora做过实验2层GCN的AUC是0.915层直接掉到0.82而且9层以后所有节点的cosine相似度都超过0.99链路打分完全失效。两跳聚合的完整模型如下class GCNLinkPredictor(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim): super().__init__() self.conv1 GCNConv(in_dim, hidden_dim) self.conv2 GCNConv(hidden_dim, out_dim) self.dropout nn.Dropout(0.5) def forward(self, x, edge_index): # 第一层加激活和dropout x self.conv1(x, edge_index) x F.relu(x) x self.dropout(x) # 第二层只做变换输出嵌入 x self.conv2(x, edge_index) return x def decode(self, h, edge_index): # 用嵌入的点积作为边存在得分 src, dst edge_index return (h[src] * h[dst]).sum(dim-1)这个实现有个隐性设计decode在forward之后调用所以训练时要用train_edges做消息传递但在计算验证集分数时要不要把验证边也加进消息传递我试过两种只用训练边聚合以及训练边加验证边一起聚合。后者在验证集上的AUC会高1%左右因为模型多看到了真实结构。但严格来说验证边在训练阶段是“不存在的”加入聚合相当于半监督泄露。我更推荐只用训练边等测试时再用全部可见边训练验证重新做一次前向这样更接近实际部署场景。3.3 链路打分器内积与MLP的取舍decode这一步看似简单其实是模型能力的瓶颈。最简单的打分是内积把两个节点的嵌入对应位相乘后求和。内积的优势是零参数、快、可解释但它假设两个嵌入的每位“独立贡献相似度”没有交叉交互。更灵活的做法是将两个嵌入拼接后过一层MLP输出一个标量。MLP打分能学到“同向变化”以外的非线性关系比如“A节点嵌入第一维大、B节点嵌入第二维大时边存在概率高”这种组合模式。class MLPDecoder(nn.Module): def __init__(self, hidden_dim, out_dim1): super().__init__() self.mlp nn.Sequential( nn.Linear(hidden_dim * 2, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, out_dim) ) def forward(self, h, edge_index): src, dst edge_index h_cat torch.cat([h[src], h[dst]], dim-1) score self.mlp(h_cat).squeeze(-1) return score实测下来在Citeseer上MLP打分比内积高2~3个点AP但训练时间翻倍而且需要更大的隐藏维度和更强的正则。我一般把两种打分都实现先用内积调结构再换MLP冲精度。还有一个容易被忽略的点内积打分前要不要对嵌入做L2归一化如果做就相当于cosine相似度会丢失嵌入的模长信息。模长在链路预测里有意义——中心节点hub的嵌入模长往往更大做归一化等于抹掉了节点重要度。我倾向于不归一化让模型自己学模长。4. 完整训练流程数据切分、优化器选择、训练循环怎么写4.1 数据集加载与预处理PyG库自带Cora和Citeseer的加载器用起来很方便但原始数据里没有对应的“链路预测标准切分”。我这套流程先把图数据转成Data对象再按照2.2节的方式做边切分。加载代码只需要三行但有个坑PyG的数据集默认把特征做了行归一化而邻接矩阵里的对角线是0边索引是有向的。咱们要处理成对称边索引否则GCN的消息传递只沿一个方向模型会变成“只看被引用的方向”。from torch_geometric.datasets import Planetoid def load_dataset(nameCora): dataset Planetoid(root/tmp/dataset, namename) data dataset[0] # 构造对称边把每条边都变成双向 edge_index data.edge_index edge_index torch.cat([edge_index, edge_index.flip(0)], dim1) edge_index torch.unique(edge_index, dim1) # 去重 data.edge_index edge_index return data注意torch.unique是无序的会破坏边的对应关系但作为图结构输入它不影响消息传递。真正要小心的是后续切分边时别把同一条物理边的两个方向分到不同集合里。所以我切分前会对edge_index做“规范化”把每条边表示成(min(u,v), max(u,v))然后去重切分完再补反向边。这一步虽然绕但能避免很多玄学指标问题。4.2 训练循环与负采样迭代训练循环的核心是“每轮重新采样负样本”。如果你固定一批负样本从头训到尾模型会记住这批负样本的模式训练后期很容易把损失压到0但换一批负样本就露馅。我每轮都重新从“非训练边”里随机采样负边数量与训练正边相同。这样做的代价是每轮多一次采样开销但对Cora这种规模的数据集完全在可接受范围内。def train(model, optimizer, data, train_edges, num_epochs200): model.train() adj_mask build_adj_mask(data.num_nodes, train_edges) # 记录训练边 for epoch in range(num_epochs): optimizer.zero_grad() # 本轮采样的负样本与训练正边等量 neg_edges sample_neg_edges(data.num_nodes, adj_mask, num_negtrain_edges.size(1)) # 用训练边聚合嵌入 h model(data.x, train_edges) # 正负样本打分 pos_score model.decode(h, train_edges) neg_score model.decode(h, neg_edges) # BCE损失正样本标签为1 loss F.binary_cross_entropy_with_logits( torch.cat([pos_score, neg_score]), torch.cat([torch.ones(pos_score.size(0)), torch.zeros(neg_score.size(0))]) ) loss.backward() optimizer.step() if epoch % 20 0: print(fEpoch {epoch}, Loss: {loss.item():.4f})这里有两个关键参数num_neg和epochs。负采样数量设为1:1是默认选择但如果你想提高收敛速度可以设成1:2甚至1:5相当于给模型更多“不存在的边”做约束。epochs我一般不固定而是看验证集AP早停。Cora上200轮左右就稳定Citeseer因为特征维度高要300轮出头。优化器我推荐Adam学习率0.01权重衰减5e-4这个组合在多个引文数据集上表现都很稳健。4.3 模型保存与评估脚本训练结束后保存模型不只是存权重还要存超参数和图结构。因为部署时你需要重建同样的预处理流程否则特征归一化方式不同模型输入分布就不对。我用torch.save打包一个字典里面包含state_dict、in_dim、hidden_dim、out_dim、dropout和归一化参数。def save_model(model, path, meta): torch.save({ state_dict: model.state_dict(), meta: meta }, path) def load_model(path, meta): model GCNLinkPredictor(meta[in_dim], meta[hidden_dim], meta[out_dim]) model.load_state_dict(torch.load(path)[state_dict]) return model评估脚本里我要同时跑AUC和AP并且打印正负样本分数分布。打印分布能快速发现两类问题一是所有分数都挤在0.5附近说明模型没学到判别信息二是正样本分数普遍比负样本高太多可能发生过拟合。我还会额外统计“测试正边中度数小于2的节点”的预测情况——如果模型对低度节点的预测全部失败说明消息传递没有覆盖到稀疏区域这时候需要增大聚合半径或改用更高阶的邻居特征。def full_eval(model, data, train_edges, val_edges, test_edges, num_neg1000): # 用训练验证边作为可见结构 visible_edges torch.cat([train_edges, val_edges], dim1) h model(data.x, visible_edges) neg_test sample_neg_edges(data.num_nodes, build_adj_mask(data.num_nodes, visible_edges), num_negtest_edges.size(1)) auc, ap evaluate(model, test_edges, neg_test, featuresdata.x) return auc, ap这个脚本把“可见边”和“测试边”彻底分开任何测试边都不会参与消息传递。很多开源demo为了省事直接用全部边做消息传递测试AUC虚高几个点但遇到真实场景预测未来引用就会崩。养成这个习惯之后我在其他链路预测任务上也少踩了很多坑。5. 避坑与常见问题Cora和Citeseer上链路预测的五个典型翻车现场5.1 标签泄漏训练集边混进测试负样本现象测试AUC达到0.97以上但换到真实场景准确率骤降。原因负采样时没有排除测试正边导致部分测试正边被当成负样本训练模型见过正确答案。解决构造负样本前必须维护一个“可见边掩码”掩码包含训练边和验证边测试正边绝不能进掩码。我写过一个诡异的bug用torch.randint采样负边时采到了测试正边的反向边因为反向边没有记录在掩码里。后来我统一用规范化的(min,max)元组做掩码问题才根治。5.2 邻接矩阵归一化的幂问题现象训练loss降得很慢最后收敛到0.6以上就停住。原因GCN层的度归一化用了D^-1而不是D^-1/2导致邻居数量多的节点特征被过度压缩。Cora里有的节点度超过100有的只有1差的太多。解决用对称归一化D^-1/2 * A * D^-1/2把归一化放进制卷积实现里而不是预先处理邻接矩阵。如果你用预归一化的稀疏矩阵作为输入后续加自环时还要重新归一化容易算错。5.3 负采样数量与随机种子影响复现现象同一次训练跑三次得到三个差异明显的AUC最大差8%。原因负采样用随机种子每次采的负边不同而且训练和测试负样本数比例不同导致评估波动。解决固定全局随机种子并且把每次采样的负边索引保存下来。我习惯为评估单独准备一份固定的负样本集合比如10000条每轮训练动态采样但评估永远用同一份。这样模型调优时能公平对比前后两版代码不会因为负样本变化产生“假进步”。5.4 过平滑导致所有节点嵌入趋同现象层数加到4层以上训练loss下降正常但验证AUC反而比2层低很多。原因GCN的拉普拉斯平滑迭代会把高频信息滤掉多次传播后节点表示只剩低频分量即所有节点的嵌入都收敛到全局均值。解决限制层数在2~3层如果必须加深加残差连接或JK连接每一层输出拼接。我在Citeseer上试过用JK拼接后把第3层输出和第1层拼接AUC涨了1.5%。另外dropout也能缓解过平滑但效果不如直接减层。5.5 数据划分方式不同导致指标差异巨大现象按固定随机种子切分时AUC是0.92换个种子变成0.84。原因Cora的边分布不均匀某些小社区的边被整块分到测试集模型根本没机会学到那些社区的局部结构。解决采用分层切分。先按节点的社区或类别分组在每组内部按比例切边保证训练集和测试集的边都覆盖所有社区。如果嫌麻烦至少做10次随机切分取均值报告标准差。这是我拿Citeseer调参的血泪教训别相信单次切分的结果链路预测的随机方差比想象中大得多。6. 二次开发思路把GCN链路预测改成可迁移的图嵌入工具这套链路预测代码最值钱的部分不是模型本身而是“边切分/负采样/评估”这三个环节的组装方式。想做二次开发我建议把预处理和训练流程抽成独立函数做成一个通用的图嵌入训练器。具体思路写一个LinkPredictionPipeline类接收任意图数据edge_index加features内部完成边切分、负采样、训练和评估对外只暴露train()和predict()两个方法。这样换数据集时不需要改模型代码只要换输入。class LinkPredictionPipeline: def __init__(self, edge_index, features, hidden_dim64, num_layers2): self.edge_index edge_index self.features features self.model GCNLinkPredictor( features.size(1), hidden_dim, hidden_dim ) def train(self, epochs200, lr0.01): # 内部完成切分、采样、训练 train_edges, val_edges, test_edges split_edges(self.edge_index) optimizer torch.optim.Adam(self.model.parameters(), lrlr) # ... 省略训练细节 return self def predict(self, src_nodes, dst_nodes): # 返回节点对之间存在边的概率 edge_index torch.stack([src_nodes, dst_nodes]) with torch.no_grad(): h self.model(self.features, self.edge_index) prob torch.sigmoid(self.model.decode(h, edge_index)) return prob.cpu().numpy()迁移到新图时重点检查三个适配点特征维度是否匹配、图是否连通、边密度是否极端。稠密图比如社交网络的负采样效率会变低因为“不存在的边”比例很小这时候需要用随机游走采样负样本而不是均匀采样。稀疏图则要小心低度节点的嵌入质量可以考虑在GCNConv里加add_self_loopsTrue让每个节点至少聚合到自己。从那次之后我每接手一个链路预测任务都先在这个Pipeline上跑一遍Cora作为冒烟测试确认模型无误再换数据。这个习惯帮我过滤掉了大量因数据预处理引入的莫名其妙的问题。希望帮到你。本文还有配套的精品资源点击获取