2. Unsupervised Domain Adaptive Graph Convolutional Networks-WWW-2020
论文链接
1. 主要思想
作者认为现有的GCN算法只能在单个domain(graph)中应用,无法实现跨域的迁移学习。提出了无监督域自适应图卷积网络。为有效获取图表达学习,作者构建了一个双图卷积网络,能够统一利用局部一致性和全局一致性进行特征聚合;再通过注意力机制更进一步的产生每个节点在不同图中的一致性表达;之后又使用域自适应学习模块促进图之间的知识迁移(基于三个损失:源分类器loss,域分类器loss,目标分类器loss)。整个模型可以区分来自不同域的样本以及源域和目标域中的类标签。
2. main contributions
- 提出了全新的无监督图域自适应问题,并提出了双图卷积网络算法。
- 通过注意力机制协调局部和全局一致性,以此来学习跨域的节点embedding。
- 设计了三个损失函数来开发源域信息和目标域信息,以此学习域不变性和语义表达,以及减少跨域节点分类的域差异
3.Overall Framework
- 节点表达学习:设计了双图机制,学习每个图之间的局部、全局一致性关系(双图参数共享)。
- 图间注意力机制:自动权衡源域和目标域的图表示
- 用于跨域节点分类的域适应学习:重点在三个分类器(这里可以看到双图GCN和注意力机制会受到源域分类器和域分类器的影响)
4. 方法论
- 节点embedding模块
第一部分是局部一致性网络,完全使用GCN框架,输入为节点特征Xs,XtX_s,X_tXs,Xt,输出为上图所示的Zs,ZtZ_s,Z_tZs,Zt。(所谓的局部信息就是保持原先的连接矩阵As,AtA_s,A_tAs,At不变)
第二部分是全局一致性网络,使用了基于定向互信息矩阵(PPMI)的卷积算法对全局信息进行编码(这一部分实际是重新计算链接矩阵由本来的均权重变为非均值权重,并命名为上图中的Ps,PtP_s,P_tPs,Pt)。具体细节如下:
首先计算频率矩阵FFF(这里实际是计算每个节点在所有context中出现的次数):
之后是计算PPMI得到上述的新的连接矩阵Ps,PtP_s,P_tPs,Pt。
可以看到局部一致性和全局一致性的区别就在于连接矩阵的选择。 - 图间的注意力机制
- 三个分类器loss function设计
较为常用的loss function,详情看论文。
5.实验部分
1. 数据集
2. Baselines
单域节点分类模型:
Deepwalk,LINE,GraphSAGE,DNNs,GCN。
跨域解淀粉类模型:
DGRL,AdaGCN