HYPERNETWORKS

ICLR 2017

核心贡献是将Hypernetwork扩展到了convolutional networks和long recurrent networks，证明其在使用更少的参数情况下，在序列模型和卷积网络的多个预测任务下都达到了不错的训练结果。

NSCaching: Simple and Efficient Negative Sampling for Knowledge Graph Embedding

ICDE 2019

提出了一种针对KGE的动态负采样方法NSCaching，核心思想是得分高的负样本很重要但是数量少，因此，作者直接使用cache来保存得分高的负样本，同时随着训练动态更新cache，可以看做是基于GAN的负采样方法的distilled版本。

Collection of GNN papers

• Highway GNN（ACL 2018）
• HGSL（AAAI 2021）
• HGAT（EMNLP 2019）
• HetGNN（KDD 2019）
• HetSANN （AAAI 2020）
• RHINE（AAAI 2019）
• JK（ICML 2018）
• PATHCON（KDD 2021）
• HeteGNN（WSDM 2021）
• KGNN（IJCAI 2020）
• CPRL（NAACL 2021）
• CLHG（ACL 2021）
• EAGCN（Neurocomputing）
• ETGAT（ACL-IJCNLP 2021）
• GAEAT（CIKM 2020）
• M-GNN（IJCAI 2019）
• RDGCN（IJCAI 2019）
• SLiCE（WWW 2021）
• M²GNN（WWW 2021）
• LGNN（IJCAI 2021）
• RevGNN（ICML 2021）

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

ICML 2015

谷歌团队的经典论文，batchnorm操作。题目中的Internal Covariate Shift是论文中提出的一个名词，主要是指在网络结构中，由于各层模型参数不同，每一层接受的输入的分布都会改变。这种现象被称作internal covariate shift。这篇文章通过对把每层的激活值做归一化处理，提升模型训练速度与效果。

归一化处理会增大feature之间的相对差异，排除绝对差异，因此可能更好训练。另外，归一化操作能够让激活值处于激活函数类似sigmoid的梯度较大的区域，能够缓解梯度消失问题。

Independence Modeling Method

对目前接触的集中能够约束差异性/独立性的方法做个简单汇总。包括

• 互信息Mutual information.
• 距离相关性Distance correlation.
• Hilbert-Schmidt Independence Criterion (HSIC)

Heterogeneous Graph Structure Learning for Graph Neural Networks

AAAI 2021

作者声称是首个尝试为异质图神经网络寻找最优的图结构进行学习的方法，提出了HGSL（Heterogeneous Graph Structure Learning）。核心方法有两个，异质图结构学习和图神经网络。

Relation-aware Graph Attention Model With Adaptive Self-adversarial Training

AAAI 2021

作者提出了RelGNN方法处理带attribute的heterogeneous graph，核心部分包括一个采取了注意力机制的R-GCN方法以及能够降低负采样false negative sample的自对抗负采样方法adaptive self-adversarial (ASA) negative sampling。

个人认为最大的创新点是这种负采样的方法ASA。负采样的核心思路是如何寻找最难区分discriminative的样本。而ASA方法的核心思想是计算正样本和负样本得分score之间的绝对差距，采样使这种差距最小的负样本。作者认为如果一个构造的负样本计算的得分比正样本的得分还要大，那么这样的负样本更有可能是false negative，因此不能直接选择这样最难区分的负样本，而是考虑正样本的预测值。

Generalized Relation Learning with Semantic Correlation Awareness for Link Prediction

AAAI 2021

作者提出了一种能够捕获KG中relation的semantic correlations的方法，叫做GRL（Generalized Relation Learning）。这个方法在一般的embedding方法之后，利用输出的embedding评估relation之间的相似程度。

Revisiting Graph Neural Networks: All We Have is Low-Pass Filters

这篇文章中，作者从图信号处理GSP的角度出发，有三方面的贡献：

• 首先实验发现大多数的信息隐藏在邻居信息的低频特征中，并且低频特征的信息以及足够丰富；提出了假设1：输入特征包括低频真实特征和噪声。真实特征为机器学习任务提供了足够的信息。
• 将图信号与传播矩阵相乘对应于低通滤波（low-pass filters），并且提出了gfNN(graph filter neural network)用于分析GCN和SGC
• 在假设1下，认为SGC、GCN 和 gfNN 的结果与使用真实特征的相应神经网络的结果相似。

MR-GCN: Multi-Relational Graph Convolutional Networks based on Generalized Tensor Product

IJCAI 2020

2020-7

作者在定义了在multi-relational graph中的卷积操作，命名为MR-GCO（multirelational graph convolution operators），提出了一个可以用来做node classification的网络MR-GCN。