简单读了一下感觉还不错,idea挺容易懂的,最近heterophily这个方向在GNN里慢慢火了起来,感觉已经盖过了over- smoothing。我本人之前研究过一段时间over-smoothing感觉已经没啥意思了,准备转向heterophily。
看到有人觉得heterophily方向没用,或者说GCN之后的其他工作都没有价值,我觉得可以分享一下我自己在这方面的经历。
我是2019年开始接触GCN的,一开始在炼丹的时候,我就试着能不能把GCN最后一层的 \hat{A} 去掉(也就是变成一层linear classifier),结果发现性能掉的特别厉害(只在Cora上试了),所以 \hat{A} 不可以被随便扔掉。当时就没有想的特别明白,只是觉得 \hat{A} 里面应该是包含了很多beneficial的信息,但是由于 \hat{A} 是predefined的,那就有可能在某些应用中给定的 \hat{A} 不beneficial甚至是toxic的,既然 \hat{A} 这么重要,那遇到toxic的 \hat{A} 的话GCN不就gg了?但是由于当时忙于炼丹,而且2019年over-smoothing还相当火,所以就没有继续深入考虑这个问题。
到了2020年,我第一次知道了homophily/heterophily这个概念,并且在一些paper里也确实提供了一些graph dataset,在上面GCN是会比MLP表现得差,也就是的确存在toxic的 \hat{A} 。2021年有些文章分析提出homophily/heterophily不能完全解释 \hat{A} 是否是toxic的,并且尝试提出新的homophily metric(make sense但是感觉不是很work)。2022年题主问的这篇文章,提出一个新的角度去分析heterophily,并且给出一个新的metric去判定 \hat{A} 是不是toxic,至少从实验看比之前所有metric更好,我觉得这篇文章给未来研究heterophily提供了一个不错的新思路。
还有人觉得heterophily跟over-smoothing是一回事,我是这么看的。over-smoothing是deep GCN存在的问题,也就是说你的 \hat{A} 即使是beneficial的(比如Cora),但用在很深的GCN里也会出现over-smoothing的问题;但heterophily是对shallow GCN来说的,也就是说你的 \hat{A} 如果是toxic的,那你即使不做深,没出现over-smoothing,你的GCN表现也会很烂。当然最坏的情况就是这两种现象同时出现,也就是你把toxic \hat{A} 用在deep GCN里,估计当场去世。
还有我说heterophily可能已经盖过over-smoothing是因为我在ICLR 2023搜了一下关键词(2022-12-06的结果),heterophily出来了十三篇文章,over-smoothing是九篇,当然中间有两个话题都讨论的文章,但是heterophily趋势确实涨的很快,感兴趣的朋友一起来挖坑吧。
我还会持续关注这个话题一段时间,欢迎留言。