7个回答

Kimi 发布首个万亿参数开源模型 K2 模型,哪些信息值得关注?

holiday111
15个点赞 👍

DeepSeek彻底改变格局后,Kimi的转向其实挺明确,而且之前Kimi 一系列工作都在指向这个模型。

几个关键点:(1)DeepSeek后它的撞车论文,预示它转向开源预训练,我们当时就说它最终是要和DeepSeek撞更大的车的。(2)muon,非常关键的工作。(3)最近的agent产品,背后开发团队分享时,一个点最吸引人:“agent就是模型”。

和Kimi这个团队的几次接触,感觉还是有一口气,要争一争。这次的效果就更加关键,接下来看看后面几天社区的发酵和评价了。

引用一段我在2月的硅星人的文章里写的话:

月之暗面的应对思路也就变得引人注目。其中开源是必须要做的一步。而看起来月之暗面的选择,是想要真正匹配DeepSeek的开源思路——目前在DeepSeek后出现的诸多开源大部分像是应激反应,它们还是用此前Llama时期的开源思路来跟随。事实上DeepSeek的开源与此前的已经不同,不再是Llama似的防守扰乱闭源对手式的开源,而是一种能带来明确收益的竞争策略。
月之暗面最近传出内部“把SOTA(state-of-the-art)结果做为目标”,看起来是最接近这种新的开源模式的策略,要开的是最强的模型,最强的架构方法,这样反而会得到它一直渴望的在应用侧的影响力。
根据两家的论文,MoBA已经用在月之暗面的模型和产品上,NSA也一样,它甚至让外界可以对DeepSeek接下来的模型有更明确预期。于是接下来的看点就是,月之暗面和DeepSeek用MoBA和 NSA各自训练出的下一代模型,要不要再撞车一次,并且还是以开源的方式——这可能也是月之暗面在等待着的那个节点。


另外,希望下次可以中国时间白天发。像DeepSeek那个开源周那样。让硅谷彻夜无眠去吧。

王兆洋
自由评论 (0)
分享
Copyright © 2022 GreatFire.org