A Capsule Network-based Embedding Model for Knowledge Graph Completion and Search Personalization

2019-6-2s

1 Introduction

常用的KE模型，比如TransE，Complex，DISTMULT等模型，它们只捕获了三元实体之间的线性联系，没有捕获非线性的联系。

本论文的基础是在capsule networks（CapsNet）Dynamic routing between capsules的基础上，直接应用到knowledge graph triplet上。CPasNet原来是作用于图片上。

论文的理论是处在相同维度下的triplet，同一纬度下的embedding可以通过capsule（each capsule is a group of neurons） network捕获不同的变体。

ParamE

这篇文章提出了新的KGE方法叫做ParamE，既能够建模关系的翻译属性，又能够利用非线性的联系。

最大的创新点在于将神经网络的参数看做是relation embedding，在实验中，为了验证，设计了三个方法，ParamE-MLP，ParanE-CNN，ParamE-Gate

实际是为所有的relation都设计了单独的神经网络。

CoPER

认为之前的KGE方法将entity embedding和relation embedding之间的交互都局限在additive上。 这篇文章使用relation embedding产生参数，转化entity embedding。

InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions

2019-11-12

在ConvE的基础上，进行了特征dim随机排列，棋盘状的排列，以及多channel的卷积。

Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction

2019-12-15 AAAI 2020

Hierarchy-Aware Knowledge Graph Embeddings（HAKE）就是不增加额外的信息，利用知识图谱的语义层级建模。

HAKE为了区分所有的实体，将实体嵌入分为两部分：

• 不同的语义层级下的实体，使用极坐标的模长/极径（modulus）表示
• 同一语义层级下的不同实体，使用极坐标的相位/极角（phase）表示

Modeling Relational Data with Graph Convolutional Networks

2018

首个在KG上应用GNN的模型R-GCN

End-to-End Structure-Aware Convolutional Networks for Knowledge Base Completion

AAAI 2019

W-GCN+Conv-TransE

W-GCN把不同的关系类型看做是不同的sub graph，不同的sub graph包括不同的weight。请注意这里的weight不同于一般的self-attention，W-GCN的weight是只与relation type有关的，而且不包括self-loop。

Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs

2019-6-4

将GAT应用到KG上。

Relational Graph Neural Network with Hierarchical Attention for Knowledge Graph Completion

AAAI 2020

使用了两层注意力，相同关系下的实体的注意力+不同关系的注意力

COMPOSITION-BASED MULTI-RELATIONAL GRAPH CONVOLUTIONAL NETWORKS

1 INTRODUCTION

原来的CNN, RNN等方法不能直接应用到graph上，因此最近GCN被提出来了。

但是初始的GCN方法主要集中与无向图，最近的针对有向图的方法类如R-GCN，存在over-parameterization问题。

there is a need for a framework which can utilize KG embedding techniques for learning task-specific node and relation embeddings.

COMPGCN addresses the shortcomings of previously proposed GCN models by jointly learning vector representations for both nodes and relations in the graph