22个回答

DeepSeek从年初的“国运级”到现在的热度减退,到底哪里出问题了?

朝阳
116个点赞 👍

还是那句话,DeepSeek在年初开源的架构,至今依旧是开源里面最优的。

这不是我说的,你看下面的原文。

Kimi k2的研发人员在知乎发文,他们在启动K2这个项目之前,对现有的所有的开源大模型进行了scaling实验,发现能超过半年前DeepSeek发的V3架构的没有,最好的结果就是跟V3打个平手。

什么是scaling,其实很好理解,你看DeepSeek V3的Model Size,也就是模型大小是685B,B代表十亿,685B就是6850亿。

Kimi K2是1 Trillion,也就是1000亿。

Scaling就是缩放的意义,用DeepSeek V3来举例,那就是微调V3原来的架构,扩大或者缩小V3,来看看性能有什么变化。

这里的scaling一般是基于原本的模型进行扩大,因为理论上模型大小和性能呈正相关,也就是模型越大,性能通常越好。

Kimi K2对于所有的开源大模型都进行了测试,结果纵观全世界,DS V3这个架构依旧非常的权威,从685B扩大到1000B,DS V3依旧能打。

这种其实算是一种incremental的工作,也就是DS在做V3的时候,很有可能已经试过这么做了,但是DS明显考虑的是另外一种思维,也就是纵向无止境的扩大模型大小其实并不是什么长久的生计,因为很明显这条路的边际效应很高。

但从Kimi K2公布的性能结果来看,只需要做scaling up,性能就可以有一个不错的提升,说白了,K2的这个工作就有一种致敬的感觉。

从685B到1000B,DS当然可以做,但是还是刚刚说的,这样完全没有质的变化,而堆量明显不是DS这种特意针对阉割版显卡搞创新的怪物喜欢做的。

别人的开源周大多是一些模型,DeepSeek的开源周,几乎全是针对于H800这款专门针对于中国的阉割版芯片的技术。

其实这一点儿很能说明问题,那就是DS里面有对于硬件非常熟悉的人,之前就看到过一个英伟达的前员工是DS的作者之一。

要我说的话,把DS V3做Scaling up,性能提升到世界第一梯队,远不如跟某一芯片厂商合作,把现有芯片的极限性能挖出来要重要的多。

前者只能说明在现有的AI大框架下,大家依旧遵循着卡多数据多就牛逼的第一定律,而从硬件入手,是可以再一次震荡一波英伟达的大手笔。

虽然从长期来看,英伟达在AI的GPU领域地位不可撼动,但短期内是可以被扰动的。

所以不管从哪一点来看DeepSeek都可以称得上国运级,及时它没有大版本更新,Kimi K2的致敬级发布也反映了DS的权威。

扩大参数量,多搞点数据,更深入的post training,当然可以提升性能,但是这样做的意义并不大,MIT协议的存在就是让别人去搞这些。

所以我的观点,DS要么不发布,要么就是算法层次上的提升,人家又不靠这个赚钱,所以底气足够硬。

平凡
自由评论 (0)
分享
Copyright © 2022 GreatFire.org