Liu Xiyang

发表于 更新于 分类于 ， 本文字数： 2.2k 阅读时长 ≈ 2 分钟

Topology-Aware Correlations Between Relations for Inductive Link Prediction in Knowledge Graphs

AAAI 2021

TACT，作者主要考虑的是inductive link prediction，使用gnn，捕获relation之间的语义上的关联性，即semantic correlation。作者认为relation之间的关联性通过relation的拓扑结构得到体现，因此，作者将所有的relation之间相连的拓扑结构分为7种，在relation形成的graph中进行学习，提出了RCN。

阅读全文 »

发表于 更新于 分类于 ， 本文字数： 2.2k 阅读时长 ≈ 2 分钟

MLP-Mixer: An all-MLP Architecture for Vision

2021-5-4

谷歌大脑团队的新作MLP-Mixer，使用纯MLP进行CV任务，没有超越目前业界SOTA，但是效果很不错。最关键的是只使用了MLP，便于部署。同时要注意，该模型训练使用了TPU3.0，外加众多training skills，model size也很大，不是个人可以玩儿转的。

阅读全文 »

发表于 更新于 分类于 ， 本文字数： 2.7k 阅读时长 ≈ 2 分钟

Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning

AAAI 2018，引用量578。

作者对GCN的机制进行了探讨，认为GCN是Laplacian smoothing的一种特殊形式。并且形式化证明了当GCN堆叠到很多层时，所有节点的表示会趋向于同一表示。发现GCN在带有label的data较少的情况下，表现出的性能差，为了解决这一问题，提出了一种联合训练co-traning的方法，主要是使用随机游走和GCN两种方法，寻找不同label下的most confident vertices，然后使用这些most confident vertices继续训练。

阅读全文 »

发表于 更新于 分类于 ， 本文字数： 43 阅读时长 ≈ 1 分钟

Traditional Mehods for Machine Learning in Graphs

发表于 更新于 分类于 ， 本文字数： 2.4k 阅读时长 ≈ 2 分钟

Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation

WWW 2019

MKR将KG和RS看做两个不同的学习任务，提出了cross&compress unit。能够显式的捕获item和entities之间的高阶交互，并且自动在两个学习任务中控制cross knowledge。

阅读全文 »

发表于 更新于 分类于 ， 本文字数： 2.4k 阅读时长 ≈ 2 分钟

Learning Intents behind Interactions with Knowledge Graph for Recommendation

KGIN，WWW 2021

结合知识图谱，结合图神经网络。在user-item中加入了intent，在KGIN中的intent表现为知识图谱中关系relation的基于自注意力的组合，同时加入差异性约束，使得不同intent的差异增大。Intent的想法很有趣，直观上看本质上还是多头的，类似于集成学习ensemble learning的思想。

阅读全文 »

发表于 更新于 分类于 ， 本文字数： 132 阅读时长 ≈ 1 分钟

Transformers and Self-Attention

序列化的模型类似于RNN，存在几个问题：

  • Sequential computation的计算限制了并行计算
  • 没有对于short和long dependencies的显式建模
  • 我们希望能够建模层级
阅读全文 »