针对关于MLP与KAN谁更优,甚至是否能够互相替代或颠覆的问题,讨论还为时过早。AI4S或者更进一步的AGI,除了在模型结构或者在依据数学与物理基础研究上实现算法上的大胆尝试与小心求证外(点个赞),希望能看到更多在数据科学和认知科学上的更多宏观框架上新的观点和突破。
记得在融合RL与LLM思想,探寻世界模型以迈向AGI「中·下篇」中,有曾跟大家提及未来AI能力持续的提升与演进除了离不开满足于对数据与算力的scale law之外,网络模型结构的突破将是可能影响AGI发展的另一个关键变量,而算法是模型结构应用的基础,基础数学理论即又是算法的理论基础,包括在SystemⅠ与SystemⅡ的快慢思考中,也对当下LLM所采用的自回归预测推理背后的模型结构所面对SystemⅡ的局限性进行了一些阐释;包括在提及与RL(强化学习)融合再到针对AI4S的探索中,其中在“世界模型的内涵”章节中对不管是World Models还是World Simulators不管是采用“传统数字符号化+形式化表征完成物理世界规律的精准刻画”还是基于“通过梯度下降在神经参数中隐式学习物理表征以模拟逼近”这两种计算模式的本质探寻..
如今,在模型算法中的底层数学基础层面上,KAN似乎寻找到了另一种更适合于处理数学和物理计算领域问题的数学变换拟合过程或非线性回归逼近过程,而这种“适合”是否是某种必然,与论文中所说的这些可能是非光滑甚至是分形的 1D 函数在解决数学或物理问题过程中所面临的大多数科学和日常生活中的的函数所对应的光滑性,及稀疏的组合结构的普遍性在其背后有着什么隐秘的联系?我想这都是需要在今后持续在不同任务领域进行实践摸索的..
大家如果有兴趣可以进一步参考我之前分享的两篇文章:
融合RL与LLM思想,探寻世界模型以迈向AGI「上篇」
https://zhuanlan.zhihu.com/p/686181862?utm_psn=1769941078436876289
融合RL与LLM思想,探寻世界模型以迈向AGI「中·下篇」
https://zhuanlan.zhihu.com/p/689818745?utm_psn=1769941890924089344
融合RL与LLM思想,探寻世界模型以迈向AGI「合集」
https://zhuanlan.zhihu.com/p/692379889?utm_psn=1769944222109884416