深度学习一定程度上脱离了数学吗？
- 871 个点赞 👍
今日Alexei Efros讲座最后给年轻学子们的若干忠告…
AI基本是一门实验科学
像生物学家一样工作，而不是数学家
- 写短短的脚本而不是长长的程序
- 可视化一切
- 你要知道，往往在你做不相干的事情的时候会有新发现
- 抓住运气！
- 试验结果图要像杂志照片一样精美
- Hubel和Weasel的诺贝尔奖是无意中发现的，他们没有放过一个容易忽略的反常现象，抓住了自己的好运气。诺贝尔奖就是半小时的事情。
编辑于 2023-07-15 23:28・IP 属地德国查看全文>>
刘斯坦 - 479 个点赞 👍
当你围绕某个理论，想了 10 个 idea，最终发现只有 1 个管用，并且写作时只对这一个 idea 进行阐述解释实验，而把另外 9 个失败的 idea 藏在心底的时候，dl 早就变成一门玄学了。
发布于 2023-07-04 08:42・IP 属地河南查看全文>>
知乎用户 - 261 个点赞 👍
你看chatgpt4头跑的模型
那是什么数学问题，全是工程化架构的问题。
25000张A100怎么互相通讯，
重新搞个算子训练，不如研究怎么架构更好的集群，使用什么方式能够降低推理延迟。
最近meta发布了商业的Llama 2
看了一下他需要的硬件参数
妈耶。总共花了331w小时，也就是一张A100要331w个小时，2w张也要160多个小时训练。
一张卡0.4度电，331w小时，就要130w度电。训练一次电费就不少钱了。
在这样一次训练上，做好业务架构，比优化算子来得更直接，很多时，解决一个性能瓶颈效果立竿见影。
编辑于 2023-07-24 09:27・IP 属地贵州查看全文>>
血染信条 - 100 个点赞 👍
永远是先有现象后有理论解释。
先有苹果落地，才有万有引力定律。先有蒸汽机，才有热力学。先有风筝上天，才有空气动力学。
你问我几十亿上百亿参数的tranformers怎么解释，现有数学工具解释不了，那就研究个几十年上百年，肯定会有解释的。
但不妨碍我们先把它利用上。
发布于 2023-07-06 10:37・IP 属地江苏查看全文>>
绝不原创的飞龙 - 11 个点赞 👍
就是这样的，首先就目前的深度学习理论，他都算不上数学的入门。曾经机器学习挺需要数学的，学好数值计算和数理统计就可以了。尽管如此但也不算完全意义的数学，更加不提今天的深度学习了。可以看看我之前的回答
但是并不是深度学习不需要数学，反而是很需要的，只是今天实验和理论似乎被一群人分开了，大模型的到来更大的门槛是计算机方面的，而不是理论，就目前深度学习谁敢说他基于什么理论的，科普说他基于统计学你就说他不就是统计学嘛，科普说基于信息论你就迎合。我自己也做这方面的一些研究，也尝试解释一些东西，但是也只能在局部解释，没有办法通用。因此我从不会肯定解释一些模块效果为啥好，因为研究后大量实验后自己没法用一套成熟的理论解释。
但是还是有一些研究者一直在努力做这块东西的，我也很希望他们可以做出来。现在的主流媒体不断宣传大模型，资源算力，导致这个方向流入了很多人，慢慢的也就让人感觉不需要数学了。
发布于 2023-07-13 08:45・IP 属地湖北查看全文>>
鳄鱼家的帅气猪 - 8 个点赞 👍
有幸参加过google的内部训练营，讲师来自发明transformer的团队，他们自己也说，深度学习已经成为了一个工程学问题，搭积木问题。
比如讲到LSTM的构造的时候，“我也不懂为什么设计成这样子，但就是有用”
发布于 2023-07-03 23:18・IP 属地上海查看全文>>
乱数 - 1 个点赞 👍
老鼠走迷宫确实不需要数学，但并非所有问题都是普通的迷宫，针对不同的迷宫，不是调整参数的问题，可能有更高效的专有搜索算法，能大大的减少你的搜索费用，这就需要算法工程师用数学来解决了。
发布于 2024-10-26 19:17・IP 属地湖南查看全文>>
巴拉丁
