如何评价Kolmogorov-Arnold Networks，MLP真的被干掉了吗?

对于做PINN和Neural Operator的本人而言，这篇论文还是有些启发的。由于PINN模型设计有诸多限制，虽然针对一些或一类求解问题有一些新的框架体系^[1]，但是基于MLP的通用性框架仍然被大量使用。

在保证MLP大结构不变的情况下，从激活函数入手的想法在PINN研究中并不少见，例如Adaptive Activation^[2] 。这类方法虽然或多或少有效，但是总体而言仍不是突破性的，依然是在原有设计上的改良。KAN给我最为直观的感受就是捅破了这层窗户纸，从手动设计激活函数迈向了自动学习。从这个角度来看，KAN显然是有意义的，后续我大概也会关注这个方向的动向。

当然. Talk is cheap. Show me the code. 无论怎么吹，还是得拿效果说话。PINN这边，两个头疼的PDE类型：一个是高频，一个是高维。既然KAN在一般拟合和求解中这么有效，那自然希望它在这两个头疼的问题上能表现不俗。

最近，我比较关注的是高频这块。因此基于一个经典问题（一维阻尼谐振）进行了简单实验。通过设置不同的力常数评估模型性能。代码和详细结果可参考我的repo。总体而言，如下几个初步结论：

1. 在实验中，当待求解的原函数频率较低时，MLP和KAN都有很高的精度，并且KAN的精度更高，收敛较快；
2. 当待求解的原函数频率提高时，MLP和KAN都更难收敛，精度均下降，两个模型的精度差异减小；
3. KAN的计算代价相较而言高很多（均是CPU计算）；

从实验来看，KAN并没有在高频问题中展现出远超MLP的结果，但是其精度确实有一定优势。更详细的分析还需要进一步实验和调参。

综上，KAN显然是取得了一些突破，但说完全取代MLP仍需要慎重。其有效性和边界需要更大范围的实验和证明才行。这波NeurIPS赶完后可能考虑更深入的探索KAN。

参考

1. ^Esmaeilzadeh, S., Azizzadenesheli, K., Kashinath, K., Mustafa, M., Tchelepi, H. A., Marcus, P., ... & Anandkumar, A. (2020, November). Meshfreeflownet: A physics-constrained deep continuous space-time super-resolution framework. In SC20: International Conference for High Performance Computing, Networking, Storage and Analysis (pp. 1-15). IEEE.
2. ^Jagtap, A. D., Kawaguchi, K., & Karniadakis, G. E. (2020). Adaptive activation functions accelerate convergence in deep and physics-informed neural networks. Journal of Computational Physics, 404, 109136.