如何评价 KAN:Kolmogorov-Arnold Networks ，是否优于 MLP?

从论文提及的内容来看：

受到Kolmogorov-Arnold表示定理的启发，我们提出了Kolmogorov-Arnold网络（KANs）作为多层感知机（MLPs）的有前途的替代品。与MLPs在节点（“神经元”）上有固定的激活函数不同，KANs在边（“权重”）上具有可学习的激活函数。KANs根本没有线性权重——每一个权重参数都被一个参数化为样条的单变量函数所代替。我们展示了这种看似简单的变化使KANs在准确性和可解释性上超越MLPs。在准确性方面，相对较小的KANs可以在数据拟合和偏微分方程求解方面达到或超过较大MLPs的准确度。从理论和实证上看，KANs拥有比MLPs更快的神经缩放规律。在可解释性方面，KANs可以直观地可视化，并且可以轻松地与人类用户交互。通过在数学和物理学的两个示例中，KANs被证明是有用的“合作伙伴”，帮助科学家（重新）发现数学和物理定律。总之，KANs是MLPs的有前途的替代品，为进一步改进依赖于MLPs的当今深度学习模型开辟了机会。

Kan存在训练速度慢的问题：

目前，KANs最大的瓶颈在于其训练速度慢。在相同参数数量的情况下，KANs通常比MLPs慢10倍。不过，我们必须坦诚，我们并没有努力优化KANs的效率，因此我们认为KANs的训练速度慢更多地是一个未来可以改进的工程问题，而不是一个根本限制。如果想要快速训练模型，应该使用MLPs。然而，在其他情况下，KANs应该与MLPs相当或更优，这使得尝试使用KANs是值得的。图6.1中的决策树可以帮助决定何时使用KAN。简而言之，如果你关心可解释性和/或准确性，并且训练速度慢不是主要问题，我们建议尝试使用KANs。