deepseek 真正nb的地方在于他能把很多research上【理论有改善】的东西真的做出来改善。
其他团队做不到的原因是大家不相信其他人的理论，导致每个人都必须自己把整个流程全做完才能证明自己做的东西有价值，那肯定是做不完的。
于是其他人只能做一些incremental的东西，deepseek则可以把全流程每个部件全都换新一遍。
不信你看，deepseek 的attention早就不是attention了，autoregressive也换成了dsa，moe也和一开始的moe有很大差别，训练方法是grpo而不是rlhf，然后现在对residual connection也开始动刀了。