From Local Structures to Size Generalization in Graph Neural Networks

ICML 2021

作者主要讨论了GNN对于graph size generalization问题的性质探究。具体一点是指GNN在一个small graph上训练，然后在一个更大的large graph上测试的场景。

主要贡献：

• 提出了graph的local structure的一种定义，d-pattern。GNN在对于相同的d-pattern会产生相同的输出。因此使用d-pattern可以作为GNN表达能力的一种抽象。
• 理论上和实验上证明了GNN在size不同的graph上，不能保证学习到的模型是有足够size generalization能力的。
• 提出了一种基于自监督的方法（Self-Supervised Learning，SSL）来提升size generalization能力，分别有无监督（unsupervised）和半监督（semi-supervised）两种loss设置。训练过程采用了预训练和多任务学习两种不同的学习过程。

Deep Residual Learning for Image Recognition

深度残差网络，将CNN拓展到152层乃至更深层，同时表现出更好效果的里程碑文章。核心是将residual connection代入到深层CNN中，使得深层的模型效果不比浅层的模型效果差。

Training Graph Neural Networks with 1000 Layers

ICML 2021

这篇文章通过在GNN中引入grouped reversible connections，实现了将GNN拓展到1000层，可能是当前最深的GNN之一。这篇文章的意义在于，实现了GNN的层数与模型所需的显存无关，使用较少的显存就可以在显存基本不增加的情况下，任意增加GNN深度。

下图是作者提出的Rev-GNN在ogbn-proteins数据集上的结果，很少的memory，达到了很好的效果。

Prototypical Networks for Few-shot Learning

作者为少次学习和零次学习提出了一种新的网络Prototypical network。核心思想是为不同的class定义不同的prototype的表示。这个prototype是有相同class下的所有实例求平均得到的。

好的句子收集

数学问题

《算法笔记》第五章 数学问题

C语言基础要点

《算法笔记》第二章 C/C++快速入门。这里记录些要点。

C语言常包括头文件<stdio.h>，stdio是标准输入输出的意思。实际上，在c++标准中，推荐使用<cstdio>，cmath和cstring等头文件，和.h结尾的头文件是等价的。

字符串专题

动态规划

《算法笔记》第11章，动态规划

第10章 图算法专题

《算法笔记》第10章。