Independence Survey

发表于 更新于 分类于 阅读次数： 本文字数： 495 阅读时长 ≈ 1 分钟

Independence Modeling Method

对目前接触的集中能够约束差异性/独立性的方法做个简单汇总。包括

  • 互信息Mutual information.
  • 距离相关性Distance correlation.
  • Hilbert-Schmidt Independence Criterion (HSIC)

Mutual information和Distance correlation.在推荐模型KGIN（Learning Intents behind Interactions with Knowledge Graph for Recommendation）中得到了使用，用于约束几个特定embedding之间的独立性。

Mutual information：

其中的函数\(s()\)是计算相似度的函数，在文章中使用了cosine similarity。

Distance correlation：

其中的\(dCor()\)是距离相关性distance correlation：

Hilbert-Schmidt Independence Criterion (HSIC)方法在AM-GCN中应用，

对于上述的集中方法还没有深入理解，先做一下记录。