• DeepSeek R1 论文登上了最新一期的 Nature 封面！梁文锋署名通讯作者！Nature 还专门为此写了篇社论夸赞 DeepSeek 的技术开放性，并呼吁更多企业主动发表大模型学术成果。
• R1 模型成本首次公开，用 H800 训练，从 V3-base 训练成 R1，只花了 29.4 万美元！
• 在经受同行评议时正面回应：DeepSeek 没有使用 OpenAI 模型合成数据训练！
• 相比于一月份的预印本论文，Nature 版论文经历了 8 位专家评审，进行了大量修改。从结果来看，这是一篇质量过硬，经得起质疑、经得起时间和实践检验的论文。
• 论文作者名单没有变化，恭喜 17 岁的高中生大佬涂津豪喜提一篇 Nature！

真的太强了！收下我的膝盖！这篇论文不仅对 DeepSeek，对整个大模型产业都有很大影响，甚至可以说意义远超论文本身。

熬夜肝文，大家点赞收藏一波。接下来坐稳扶好，我带大家深入更多论文细节。

一篇大模型论文，怎么就登上了 Nature 封面？

众所周知，DeepSeek R1 是今年 1 月 20 日开源的^[1]，几乎同步发布了预印本的论文^[2]。

现在我们知道，2 月 14 日，DeepSeek 就向 Nature 投稿，经历了 5 个月的评议和修改之后，于 7 月 17 日接收，并登上 9 月 17 日的 Nature 封面^[3]。

论文的标题是：《DeepSeek R1 通过强化学习激励 LLMs 进行推理》。

而 Nature 封面则是：《Self-help：强化学习教会 AI 模型自我改进》。

这也可以看出，DeepSeek 从一开始就是奔着 Nature 投的，而且 DeepSeek 这帮人是真的卷，情人节投稿，估计春节假期也没怎么休息。

那么问题来了，DeepSeek 为什么能上 Nature？为什么能上封面？

再引申一个问题：为什么 GPT、Gemini、Claude 没上 Nature 呢？当然这个问题的答案很简单：因为他们没有向 Nature 投稿。

但我觉得，这恰恰是 DeepSeek 做得好的地方——开源、开放。

OpenAI 的确先做出了 o1，原本是有机会抢下这个学术成果的，但他们选择了闭源，选择了优先商业化，自然也就与学术成就无缘。

国外的 AI 企业，发表的是 Technical Report（技术报告），是 Model Card（模型卡），那都是吹嘘自己模型 SOTA 成绩的广告，而不是可复现、可验证的学术成果。

特别是 Nature 还专门发了一篇社论《提交 LLMs 成果：为何同行评议对 AI 模型有益》^[4]，呼吁更多 AI 公司接受学术出版审查：同行评议不是要求公开商业机密，而是通过证据支撑技术主张，推动行业健康发展。

其中明确提到：

• 之前流行的大模型，没有一个经过了学术界的同行评议（DeepSeek 是第一个），因而缺乏对大模型工作原理和实际能力的客观验证。
• 同行评审能提升模型透明度，验证功能真实性，并制衡开发者「自评自测、自吹自擂」的潜在偏见。
• DeepSeek R1通过强化学习实现自主推理能力，其开源特性（开放权重）允许自由下载和二次开发。
• 8 位专家从原创性、方法论和鲁棒性等维度评审，论文同步公开审稿意见和作者回复，DeepSeek 树立了大模型行业透明度新标杆。
• 在AI技术泛化的背景下，独立验证是遏制过度炒作、防范社会风险的必要机制。

所以你看，前沿企业出于商业竞争考虑把自己的模型细节藏着掖着，很难转化为学术成果。Nature 把 DeepSeek 放在封面，也是想激将一下这些企业。

当然了，Nature 并不是宣传模型性能的地方，要上期刊，是要拿出实实在在的学术成果的。

我觉得，DeepSeek R1，无论是科学叙事还是方法论，无论是过程严谨性还是结论普适性，都完全配得上一篇 Nature。

不信？我斗胆站在审稿人的角度，带大家简要理一理这篇论文。

DeepSeek R1 的论文讲了什么？

DeepSeek R1 的这篇论文，可以从叙事、方法论和实验透明度三个方面来理解。

科学叙事

首先是科学叙事，俗称讲故事。又可以分为问题、假设和结论。

问题提出：

R1 的论文，并不是在宣传「我们做的模型有多强」，不是靠秀出 SOTA 成绩吸引别人的注意力，而是从一个根本性的科学问题切入：

通用人工智能（AGI）的核心推理能力，目前严重依赖于昂贵且充满偏见的人工标注数据。

核心假设：

为了解决数据标注的成本和偏见问题，DeepSeek 假设：

大模型的复杂推理能力，可以通过纯粹的 RL 强化学习，从一个简单的奖励信号（正确与否）中「自发涌现」，而无需人类提供思考过程的范例。

这直接挑战了主流依赖高质量 SFT 数据的范式。

结论升华：

R1-zero 和 R1 的实验成功，不仅仅代表了一个模型的成功，更是探索出一条「机器超越人类数据限制，实现自我进化」的潜在路径。

从问题，到假设，到实验结论，从一个推理模型上升到了「AI 自主进化」，这故事讲的多好。

方法论

故事讲的好是基础，方法论也要扎实。

DeepSeek R1 的关键创新就在于：验证了直接在基础模型上进行大规模 RL 强化学习的可行性和效果，证明了 SFT 并非激发推理能力的必要前置步骤。

模型在训练过程中自主学会了反思、验证和探索多种解题路径等复杂行为。

特别是那个经典的「Aha Moment」，模型在答题时自己说「wait、wait、wait」，这个例子直接将抽象的能力提升具象化为一个可以看到的「行为涌现」。

这个「Aha Moment」太生动了，简直就是 AI 的尤里卡时刻。

实验透明度

相比于当初的预印本内容，Nature 版论文经过评审和修改，实验透明度更高，真正作为学术成果发布，增加了海量的技术细节，比如各阶段的流程图、GRPO 算法、奖励模型的设计、超参数等等。

某种意义上说，这真的是可复现、可验证的学术成果，真的把过程掰开了揉碎了公开出来，而不是一个简简单单的技术报告。

如果说一月份的 R1 技术报告是宣传模型的「成果展示」，那 Nature 版 R1 论文就是「过程论证」。

论文更详细的内容我就不展开了，推荐大家自己去读，多读几遍，甚至有必要比照预印本内容读，可以找到修改的痕迹，和「讲科研故事」的脉络。

顺便一提，其实我今年年初学完 R1 的预印本论文后就有个感受：

虽然是 R1 让广大用户感受到了开源推理模型的深度思考能力；但实际上，也许在 DeepSeek 内部，R1-Zero 才是那个真正有价值、有意义、将会被未来铭记为里程碑的科研成果。

再补充一句：和大模型行业快速迭代的速度比起来，正式论文发表花费的时间太久了。但这恰恰说明，R1-Zero 的方法是有范式价值的，是经得起时间检验的科研成果。

最劲爆的内容，在论文之外

说实话，论文的核心结论，在预印本里已经讲出来了。这次在 Nature 上发表，真正劲爆的内容在论文之外的补充信息^[5]和评议文件里^[6]。（我还没读完，但信息量巨大，比论文本身都大！）

DeepSeek R1 训练成本首次揭秘：29.4 万美元

DeepSeek 曾经在 V3 的论文里公开过，V3 模型的训练成本是 560 万美元，准确来说是 557.6 万美元。

结果 R1 火了之后，很多人张冠李戴地把这个数字安在 R1 头上，说 R1 的训练成本是 560 万美元。

但实际上，R1 的预印本论文中，并没有公布训练成本。我也曾经辟谣过，但没用，大家还是以讹传讹地这样认为。

这次为了在 Nature 发论文，DeepSeek 在审稿人的追问下，首次公开了 R1 的训练成本，简直夸张到离谱：R1-Zero + SFT 数据生成 + R1 一共只花了 29.4 万美元！

具体来说，训练使用 64*8 H800 GPU，R1-zero 用了 198 小时，R1 只用了 4 天，约 80 小时。

这也跟郭达雅之前删掉的一条推特对应起来。当时他说：

660B 的 R1-zero 和 R1 是在 V3 发布后才开始训练，用了 2-3 周；V3 报告中提到的 R1，其实应该叫 R1-Lite 或者 R1-Lite-zero。

V3 是 12 月 26 日发布的，R1 是 1 月 20 日发布的，这么短的时间，模型训出来、发出来、甚至连论文都公布出来，关键是只花了不到 30 万美元？！

现在想想，Meta 的人说，V3 的成本比他们随便一个管理层的工资成本都低。

结果，R1 的成本相比 V3 又去了个 0 还打了五折。（当然，R1 是建立在 V3 基础模型的成本之上的）

我只能说，恐怖如斯。

正面回应数据问题：没有使用 OpenAI 的合成数据！

DeepSeek R1 发布之后，国内国外都出现了一些质疑的声音，比如是不是直接「蒸馏」了 OpenAI 的模型。

我们在这里不去澄清「蒸馏」这个词的技术含义。他们无非是想说明，DeepSeek 用了 OpenAI 的合成数据。

之前 OpenAI 一直没有回应过，这次我在论文的补充材料和评议答复里找到了官方的正面回应。

首先：

R1 基于 V3-base 模型，而 V3-base 模型是从互联网抓取的数据，因而会不可避免地抓到一些互联网上已经存在的、由各种 AI 模型生成的数据（包括 OpenAI）。

但是！DeepSeek 并没有有意使用 OpenAI 的合成数据进行训练！

当然，这可能还不够用说服力。比如同行评议中有人质疑，

DeepSeek-V3-Base 模型在预训练阶段可能已经接触了大量的推理痕迹数据，间接获得了 OpenAI这类更强模型的能力，从而使得其纯粹通过强化学习获得推理能力的结论不那么可靠。

DeepSeek 的回应是：

• 在预训练阶段收集的网页数据中可能包含了由 GPT 等模型生成的内容，但是在当前大规模语言模型训练中，这种情况很难避免。
• DeepSeek-V3-Base 的预训练没有包含一个明确的、大规模使用合成数据集进行监督学习的阶段。任何对合成内容的接触都是偶然和间接的。
• DeepSeek-V3-Base的预训练数据收集截止日期为 2024 年 7 月，而当时并没有公开可用的高级推理模型。这大大降低了从现有强大推理模型中无意蒸馏的可能性。
• 论文的核心贡献——R1-Zero模型——没有涉及任何来自高级模型的蒸馏。其强化学习部分是独立训练的，不依赖于其他模型生成的输出或指导。

为了彻底打消论文评审的顾虑，DeepSeek 甚至进行了一项额外的实验，他们用发布于 2024 年 6 月的，早于所有公开的推理模型的 Qwen2-7B 模型，作为基础模型进行了训练：

实验结果表明，该模型同样通过大规模强化学习自主发展出了先进的推理策略，显著优于非推理模型。

Nature 网站上有一篇评论文章^[7]《DeepSeek AI 模型核心机密在里程碑论文中揭晓：首篇同行评审研究揭示中国初创企业如何以 30 万美元打造震撼市场的 LLM 大模型》。

里面有这样的话：

这篇反驳「与我们在任何出版物上看到的论据同样具有说服力」。
虽然不能 100%确定 R1 没有使用 OpenAI 的数据进行训练，但其他实验室的复现尝试表明，DeepSeek 的推理方法已经足够优秀，而根本不用那么做。
我认为现有证据已相当明确地表明，仅使用纯粹的强化学习就能获得非常高的性能。

所以，DeepSeek 的这些回应，不管你信不信，反正 Nature 的评审都信了。那些泼脏水的真的能歇歇了。

仔细去看看 DeepSeek 和论文评审之间的沟通就知道，这是一篇质量过硬，经得起质疑、经得起时间和实践检验的论文。

（不行得睡觉了，欢迎大家评论区补充更多细节）

最后补充几点，跟论文关系不太大的花边吧。

梁文锋可不仅仅是「参与」DeepSeek R1 论文，他可是正经的唯一通讯作者。

这让我想起来另一个梁总——去年携程梁建章也在 Nature 发了一篇论文^[8]。

这是什么精神？！

按照马斯洛的需求理论，这必须是最高等级的「自我实现」。这种财富自由的巨佬，啥都不图，就图个精神上的满足。

所以我们必须夸他们，大夸特夸。愿更多老板能追求发 Nature，祝更多老板成功发 Nature！

顺便，还在作者名单中发现了一位来自上海建平中学的高中生（应该刚高三毕业）。

也是个很熟悉的名字了：涂津豪^[9]。曾在腾讯混元、DeepSeek 实习，开源项目 Thinking-Claude 的作者（15.6k star）^[10]，2024 阿里全球数赛AI挑战赛冠军。

看看别人家的高中生！已经发 Nature 了！

参考

1. ^https://huggingface.co/deepseek-ai/DeepSeek-R1
2. ^https://arxiv.org/abs/2501.12948
3. ^https://www.nature.com/nature/volumes/645/issues/8081
4. ^https://www.nature.com/articles/d41586-025-02979-9
5. ^https://static-content.springer.com/esm/art%3A10.1038%2Fs41586-025-09422-z/MediaObjects/41586_2025_9422_MOESM1_ESM.pdf
6. ^https://static-content.springer.com/esm/art%3A10.1038%2Fs41586-025-09422-z/MediaObjects/41586_2025_9422_MOESM2_ESM.pdf
7. ^https://www.nature.com/articles/d41586-025-03015-6
8. ^https://www.nature.com/articles/s41586-024-07500-2
9. ^https://x.com/richards_19999?lang=en
10. ^https://github.com/richards199999/Thinking-Claude

前面都看到了，清一色说的都是的“DeepSeek-R1就是蒸馏Chatgpt，没有半点技术含量”

现在我就蹲一个“Nature这种给钱就能上的野鸡期刊懂个屁的人工智能”

我可是记得很清楚，DeepSeek-R1刚出来那会，马督工信誓旦旦称其蒸馏了GPT4，建议睡前消息团队也发篇Nature论证一下。

马督工在本期节目中表示，人工智能不仅不会削弱其自媒体的优势，反而会进行赋能，在选题和数据分析方面助力《睡前消息》栏目再上一个台阶。然而事实却是，自从2025年2月以来，睡前消息的播放量持续走低，已经算江河日下了。

另外，睡前消息在93阅兵那期翻了个大车，不清楚这个“东北日军在围剿抗联的同时，也基本解决了延续上百年的土匪问题”的奇葩结论，是不是某个AI工具给的，如果是，那确实能发篇论文了，题目可选：

1. 《算法的“客观”与历史的复杂：论AI大模型在历史分析中的陷阱与自媒体舆论失控——以“东北殖民治理”争议为例》

· 聚焦点： 重点剖析AI工具在处理复杂历史问题时，其“数据驱动”和“概率输出”的“伪客观性”如何掩盖了历史本身的矛盾性、价值负载和民族情感，以及这种技术缺陷被自媒体直接应用后引发的巨大舆论海啸。

2. 《技术神话的破灭：自媒体应用AI生成历史内容的伦理边界与舆论反噬研究》

· 聚焦点： 从“技术中立”神话在人文历史领域的破产入手，探讨自媒体盲目信任和滥用AI作为“权威信源”所逾越的伦理边界（如历史虚无主义、殖民史观美化），并分析这种逾越如何必然地招致公众的批判和抵制，最终导致内容下架。

3. 《从工具理性到价值迷失：AI驱动型自媒体在公共历史 discourse 中的失范与责任重构》

· 聚焦点： 借用社会学“工具理性”与“价值理性”的概念。分析自媒体为追求效率（工具理性）而采用AI，却导致了在历史价值观（价值理性）上的严重迷失。论文将探讨在此背景下，自媒体应如何重构其内容审核、价值判断和公共责任体系。

4. 《“黑箱”输出与舆论引爆：论大模型生成历史谬误的传播机制及风险规避——基于一次失败节目实践的反思》

· 聚焦点： 更具传播学视角。将AI的结论视为一个“黑箱”产出的不可靠信源，详细拆解该谬误从节目制作、发布到引爆舆论、最终危机处理的整个传播链条，并从中总结出自媒体在利用类似技术时应建立的风险预警和规避机制。

5. 《数字时代的历史叙事权：AI、自媒体与专业史学在公共领域中的碰撞与冲突》

· 聚焦点： 将事件上升到一个更宏大的层面。论述AI的介入，使得自媒体试图挑战和重塑由专业史学工作者构建的历史叙事权威。然而，由于AI的固有缺陷和自媒体的功利性，这种挑战变成了“奇葩结论”的闹剧，反而引发了公众对专业权威的再次确认和对自媒体越界行为的集体批判。

上面5个论文选题，由DeepSeek-R1提供。

Nature成功取得DeepSeek-R1论文的发表权，这对Nature有什么意义

这可不是我瞎编的，Nature同期还出了一篇editorial和News很兴奋的报道了自己刊登DeepSeek-R1论文的新闻，就是对上面这个问题的回答

这对Nature来说意义比较大。

对Deepseek来说不过是增加了一些曝光度而已。这种级别的工作，就是技术报告直接挂在网上，也不会降低其价值和影响力。

简单地说，Nature真的需要一篇重量级的大模型文章，而在一二线厂里只有Deepseek还算是有动力发一篇Nature。等等，好像还有Qwen，这么一想说不定Qwen也在审了？

我宣布，nature不再是权威期刊了，英国nature不行，美国Science行。
——发自 我的手机

R1意义太大了，本来思考模型只有openai一家一枝独秀，山姆奥特曼手握这张王牌拉着中东土豪和孙正义筹划几万亿美金的超级AI项目，google、meta、阿里qwen全都在坑里摸索，R1把思考模型核心算法开源，整个行业往前进了一大步，可以说重要性仅次于GPT LLM的发明。思考模型这么重要的东西，当然能发Nature，但可惜openAI不开源也不公布技术细节，这个名垂青史的机会就留给了R1。

今年Google 靠着gemeni和TPU成为了nvidia最大的竞争对手，阿里靠Qwen和外卖大战忽然重新站起来，可以说多少都有点R1的功劳。

众所周知第一个实现思维链（CoT）的是OpenAI的GPT系列，当时其他开源和闭源模型都没有同等的能力，这被视为OpenAI模型的重大领先优势。其他模型当时只能尝试通过Prompt engineering的方式，通过调整提示来模拟CoT的效果。

而第二个实现CoT的就是DeepSeek R1，并且DeepSeek完全开源，有详细的论文描述如何实现，不仅从自有模型训练出CoT，还从其他开源模型如通义千问训练出CoT，证明这一训练方法普适于现有的任何大模型。公开后很快，CoT的训练方式就得到了其他团队的复现。

目前CoT已经成为中外几乎所有主流大模型的标配。Qwen3等开源模型明确使用和DeepSeek相同的强化学习方法。闭源模型虽然未公开，但从时间点上可以推测应当是使用了和DeepSeek R1相同的训练方式。唯独不清楚OpenAI的CoT训练方式是否和DeepSeek一致，以及在DeepSeek R1公开之后是否调整过训练方式。但可以说，DeepSeek R1论文至少为OpenAI模型以外所有大模型提供了迈向CoT的关键技术。

从LLM发展的历程上看，DeepSeek R1论文毫无疑问有足以和“Attention is all you need”以及LLAMA系列开源相并列的历史意义。

CoT的出现将曾经在LLM应用中占重要地位的prompt engineering几乎扔进了垃圾堆，虽然新一代模型仍然有改善prompt来提高性能的做法，但新模型对prompt的需求无疑更符合人类预期，不再需要以前一样像玄学一样尝试不同表达方式、或者尝试用“回答错误就会有猫咪死去”一类的方式威胁大模型了。

nature最近发出来了deepseek R1，这说明的不是nature有眼光而是它吃相难看。

deepseek R1的影响力不需要nature背书，所有引用他tech report的人，下载使用它模型的人都有目共睹。

它更不需要nature编辑在editorial里大吹特吹的所谓“8人小组同行评审”，说难听点：他们几把谁啊？

deepseek的人比审稿人懂得多了，而且整个业界早就认识到他的巨大价值了，这种价值比nature扭扭捏捏的说的几句评价要重要得多。他们也配？

nature和science这些个期刊最近在ai类文章的录用上的品味是很令人怀疑的，当然不是有好文章，但是也有类似textgrad和language model collapse这样的迷惑文章。

值得指出的是，它在录用已有巨大影响力的文章如deepseek的时候，想的绝对不是要帮助文章扩大影响力，而是要借着发表这些文章来显示自己在ai界也有话语权，有评价权。抢到话语权之后，靠给编辑打招呼发出来的奇怪文章也就借到deepseek的光了。

这就好比拿破仑登基的油画，拿破仑不需要教皇来给自己加冕，直接抢过皇冠给自己戴上。而教皇需要通过给拿破仑加冕来维持天主教的影响力。

ai界长期以来形成的开放获取、整个大社区评价、github当先的技术民主化风气是更先进的，不应该被nature这种小圈子、打招呼的学术贵族风气所绑架。

Nature选这篇文章上封面，不只是因为它质量够硬、过了严格同行评议——更关键的是，这背后藏着一种技术价值观的选择。

对于AI学术界的意义：除了研究本身的科研价值，更重要的是想传递一个信号：鼓励AI产业多公开高透明的学术成果，帮AI学术界补上“缺资金、缺算力、缺团队”的短板。其实自从DeepSeek R1的成果公开，“学术灯塔”效应就已经显出来了——越来越多中国AI团队开始主动公开技术细节，从只开源权重，走到了更深入的技术开源阶段。

AI技术透明度对于社会的意义：聊AI的潜在风险，比起“AI毁灭人类”这种远虑，技术集中保密带来的威胁其实更现实、更迫切。比如垄断定价权、财富向少数人集中，最后可能走向“高科技、低生活”的困境。而如果顺着Sam Altman、Dario Amodei那套思路走，技术和定价权垄断几乎是必然结果。这也就能理解，为啥DeepSeek这种高透明的技术开源，会让Sam心痛、让Dario跳脚，甚至要拿“中美意识形态对立”来说事。

对于AI产业界的意义：这篇文章很多人年初就熟了——DeepSeek V3的低成本训练+R1的无监督推理，研究的透明度和详实度都是前所未有的。年初在各平台火了快一个月，就算没有Nature的“同行评议”加冕，它也是今年AI圈的“无冕之王”。当时大家解读得很透，比如无监督强化学习、GRPO（Group Relative Policy Optimization），还有新的蒸馏技术。它不只是一项单点技术，而是一套完整的训练框架，通过这篇文章你把成果复现出来了，就是最好的同行评议——DS几乎是凭一己之力，已经把AI圈拽进了“后DeepSeek时代”。

对于DeepSeek自身的意义，现在这篇文章成功上了封面，对DeepSeek来说意义不只是确立学术地位，更证明了自己的“学术转化率”。反过来还能强化科研人的使命感，激发大家的研究自主性，持续吸引学界大牛加入。要知道，真正的学术大牛从来不是靠钱能留住的。“想靠自己的研究改变世界，把成果写进教科书，活出一个值得回味一生的故事”——这是每个有少年心气的人，曾经藏在心里的梦想。 想象一下，OpenAI的研究员看到这篇Nature封面文章，那种不是滋味的心理感受。

对于中国的意义，Nature的学术盖章让"AI国界化"的论调变成了一种小丑言论，让中国AI走向世界多了技术的底色，少了意识形态的阻碍。

这篇文章在2025年2月14日投稿，2025年7月17日被Nature接收，2025年9月17日正式出版。补充材料83页，回复同行评审64页，最终以封面论文发表在Nature，说明国际学术界认可这是原创性、引领性的工作。

这篇文章的出现，标志着中国AI从“技术应用”走向“基础创新”的标志性事件。它证明了中国团队有能力定义下一代AI的训练范式，而梁文锋作为通讯作者，正是这一突破的关键推动者。不管是对行业贡献，还是对我们普通人，都具有重大意义。

1. 它证明了“纯强化学习”可以逼出AI的推理能力，而不需要人类手把手教

传统方法：训练AI做数学题、写代码，通常需要大量“人类示范”——也就是我们得手把手教它第一步、第二步、第三步该怎么想（比如用Chain-of-Thought提示工程）。这种方式成本高，且天花板受限于人类的思维方式。

DeepSeek-R1的突破：他们直接跳过了人工标注步骤，只给模型一个“规则奖励”（比如答案对错+格式是否正确），然后通过强化学习（RL） 让模型自由探索。

我们的目标是在强化学习框架中，通过自我进化来开发LLM的推理潜力，最小化对人类标注的依赖。

这意味着AI的推理能力不一定需要“像人一样思考”，它完全可以自我演化出一套更高效的推理模式——这套方法论为整个领域打开了新思路。

2. 工程实现：他们真的跑通了大规模RL训练，并且全部开源

提出了新算法GRPO（Group Relative Policy Optimization）

GRPO是我们用来训练DeepSeek-R1的RL算法，旨在简化训练过程并降低资源消耗。

这是一种群体相对策略优化方法，相比传统的PPO更稳定、更高效——他们甚至给出了清晰的对比图，解释是怎么工作的。

完全开源：模型、代码、数据全部公开

DeepSeek-R1-Zero和DeepSeek-R1的训练权重已在MIT协议下开源。

这意味着任何研究机构和企业都可以复现他们的结果，甚至在此基础上继续迭代——这才是真正推动行业进步的格局。

3. 对普通人的影响：未来AI会更便宜、更高效、更可靠

为了以更低能耗让更多人用上强大AI，我们蒸馏了多个小模型并开源。

这意味着未来手机、平板、车载设备等终端也可能本地运行高推理能力的AI；企业调用API的成本可能会进一步降低；AI的推理过程更稳定（因为RL训练出的策略更可控、可解释）。

梁文锋可以凭此论文入职中国内地任意大学准聘教职了！

今年1月，DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning论文发布，如今成功登上全球顶刊封面。

通讯作者梁文锋带队，用RL为大模型推理能力开辟了全新路径。

论文地址：https://www.nature.com/articles/s41586-025-09422-z

在封面推荐中，Nature毫不吝啬地赞扬了DeepSeek-R1的成就。

开源之后，R1在Hugging Face成为最受欢迎的模型，下载量破1090万次。关键是，它是全球首个经过同行评审的主流大模型。

值得一的是，补充材料首次公开了R1训练成本——294000美元，数字低到惊人。

即便是加上约600万美元的基础模型成本，也远低于OpenAI、谷歌训练AI的成本。

从一篇arXiv论文到Nature封面，DeepSeek团队再次用实力为AI推理的未来铺路。

R1被认为是首个经历同行评审过程的主流LLM。

审稿人Lewis Tunstall表示：

这是一个非常值得欢迎的先例。若不公开分享大部分研发过程，我们将难以评估这些系统是否存在风险。

针对同行评审意见，DeepSeek减少了拟人化描述，并增加了技术细节说明，包括模型训练数据类型和安全性能。

审稿人Huan Sun表示：

通过严格同行评审过程，有助于验证模型的有效性和实用性，其他公司也应效仿。

DeepSeek-R1-Zero诞生

研究团队的出发点大胆而纯粹：彻底抛开对人类推理轨迹的依赖。

人类定义的推理模式，可能反而是一种束缚。

他们选择了一个强大的基础模型DeepSeek-V3 Base，跳过了传统的SFT阶段。

取而代之的，是一个极其简洁的强化学习框架，只告诉模型两件事：

1. 任务格式：回答必须包含两部分，一个是被<think>标签包裹的「思考过程」，另一个是被<answer>标签包裹的「最终答案」。

2. 奖励信号：根据最终答案是否正确来给予奖励，不管采用什么样的思考方法。

在没有解题步骤的对错评判，没有思维方式的引导下，DeepSeek-R1-Zero开始了它的「野蛮生长」。

在整个训练过程中，R1-Zero的推理能力发生了质的飞跃。

以AIME 2024为例，它的平均解题准确率（pass@1）从最初的15.6%，一路狂飙至77.9%。

如果再配合「自洽解码」技术，准确率更是高达86.7%——这一成绩远超AIME竞赛中所有人类选手的平均水平。

AI「顿悟时刻」

更令人着迷的，是它在能力提升过程中展现出的自我进化行为。

• 「思考时间」自主增加

随着训练的进行，模型在<think>标签内生成的文本长度稳步增加。

它自发地学会了用更长的「思维链」来探索和优化解题策略，有时甚至会生成成百上千个token来反复推敲一个问题。

• 高级推理策略的涌现

模型不再是线性地一步步解题，而是开始展现出「自我反思」和「系统性探索替代解法」等高级策略。

它会验证自己的中间步骤，甚至会主动探索「如果我用另一种方法会怎么样？」

• 一个有趣「顿悟时刻」

在训练的某个阶段，研究人员观察到了一个清晰的「顿悟时刻」（Aha Moment）。

也就是，模型在反思过程中，使用「wait」（等等）这个词的频率突然急剧增加。

这一时刻，标志着DeepSeek-R1-Zero在推理模式上发生了明显转变，清晰地揭示了它的自我进化过程。

而这种进化，也完美诠释了强化学习的魅力：

不必教它如何解题，只需提供正确的激励，它就能自主地发展出比人类教的更高级的策略。

DeepSeek-R1之路

尽管DeepSeek-R1-Zero展现了神级的推理能力，但由于其训练完全以推理为导向，它存在可读性差、偶尔会在中英文之间混乱切换的问题，并且在写作、开放域问答等通用能力上表现平平。

为了解决R1-Zero的问题，并让其强大的推理能力能被更广泛地应用，研究团队设计了一套精密的多阶段训练流程，并启动了第二阶段的「精炼」计划：

1. 冷启动（Cold Start）：首先，用数千条高质量的、符合人类对话习惯的数据对模型进行初步微调，教它「好好说话」。

2. 第一轮强化学习（RL）：再次应用强化学习，但这次的目标不仅是提升推理，也包括保持语言的一致性和对话的流畅性。

3. 大规模监督微调（SFT）：团队将推理数据与海量的非推理数据（如写作、通用问答、代码工程）混合在一起，进行大规模的监督微调。这极大地扩展了模型的知识面和通用能力。

4. 第二轮强化学习（RL）：最后，再进行一轮全面的强化学习，利用一个更复杂的奖励模型，进一步增强模型的有用性、无害性，并使其行为与人类偏好对齐。

经过多轮炼丹，DeepSeek-R1不仅在AlpacaEval 2.0和Arena-Hard等衡量通用指令遵循和用户偏好的基准上，性能提升了17%-25%，而且还在数学、编程等高难度推理任务上保持了顶尖水准。

揭秘DeepSeek-R1「炼丹炉」

接下来，就让我们深入这个「炼丹炉」的内部，一探究竟。

GRPO算法

在AI训练的赛道上，强化学习算法PPO（近端策略优化）长期以来都是大语言模型训练的「标配赛车」。它虽然强大，但也以资源消耗巨大和实现复杂而著称。

DeepSeek团队选择了一条更聪明的路，他们采用了GRPO（组相对策略优化）算法作为核心驱动引擎。

PPO就像一位极其谨慎的教练，它在每次训练更新时，都会严格限制新策略与旧策略的偏离程度，以防模型「跑偏」导致训练崩溃。

这种谨慎是有代价的，它需要大量的计算来维持稳定。

而GRPO则像一位更高效、更相信「集体智慧」的教练。它的核心思想是：

在每次训练时，让模型针对同一个问题，生成一组（比如16个）不同的答案。

然后，它不只是简单地奖励最好的那个，而是根据这一组答案的「相对好坏」，来整体优化模型。

具体来说，它会计算出每个答案相对于这一组答案平均水平的「优势」（Advantage），优势大的（即表现更好的）答案会得到更大的激励权重，而表现差的则会被抑制。

这种「组内竞争、择优而学」的机制，简化了PPO复杂的约束过程，不仅显著降低了资源消耗，还被证明在实践中同样稳定高效。

奖励设计

强化学习的本质，就是通过奖励（Reward）来塑造模型的行为。它决定了模型将朝着哪个方向进化。

为此，DeepSeek团队设计了一套双轨制的奖励系统。

1. 基于规则的奖励

对于推理任务（数学、编程、逻辑），团队采用了一套极其严格的基于规则的奖励系统。

• 准确率奖励：最终答案对不对？对于数学题，答案必须和标准答案完全一致；对于编程题，代码必须通过所有预设的测试用例。
• 格式奖励：思考过程是否符合规范？所有的思考过程都必须封装在<think>和</think>标签内。

这里，有一个关键的决定：在推理任务上，完全不使用基于神经网络的奖励模型。

因为团队发现，AI在长时间、大规模的强化学习中，会找到奖励模型本身的漏洞并加以利用，即所谓的「奖励投机（Reward Hacking）」。

2. 基于模型的奖励

然而，世界并非非黑即白。对于通用任务比如写作、对话，大多只有好坏之分。

于是，DeepSeek团队引入了基于模型的奖励，从而让模型更符合人类的偏好。

• 有用性奖励模型：专门负责评判模型的回答对用户是否有用、切题。它通过比较大量的「好答案」与「坏答案」对（由DeepSeek-V3生成并筛选）来学习人类的偏好。有趣的是，它只评估最终的摘要部分，而不去干涉底层的推理过程，给予模型在思考上的充分自由。

• 安全奖励模型：负责检查模型的全部输出，包括思考过程，以识别和惩罚任何潜在的有害、偏见或危险内容。

如此一来，模型在保持强大推理能力的同时，也学会了如何生成更有用、更安全、更符合人类习惯的内容。

训练细节

DeepSeek的训练并非一蹴而就，而是分为多个精心设计的阶段，每个阶段都有不同的侧重点和巧妙的参数调整。

最开始的训练完全聚焦于数学、编程等推理任务，仅使用基于规则的奖励。

一个有趣的现象发生在训练进行到第8,200步时：研究人员将模型处理的最大文本长度从32,768个Token猛增到65,536个Token。

这一改变带来了立竿见影的效果，模型的性能和回答长度都出现了「大幅跃升」。

其他参数设置如下：

学习率：3×10⁻⁶

KL散度系数：0.001

GRPO裁剪比率ϵ：10

推理采样温度：1

每个训练步包含32个独立问题，每步的批大小为512。

每400步，用最新的策略模型替换参考模型。

• 第一强化学习阶段

在这一阶段，训练数据变得更加多样化。

团队遇到了一个意想不到的挑战：模型的「思维链」（<think>标签内的内容）中频繁出现中英夹杂的「语言混合」现象。虽然这不一定影响最终答案的正确性，但极大地影响了可读性。

为了解决这个问题，他们创造性地引入了一个「语言一致性奖励」：如果模型在处理中文问题时，思维链中中文词汇的比例越高，获得的奖励就越多。

尽管实验表明，强行「矫正」语言会导致模型性能微乎其微的下降，但为了输出结果更符合人类阅读习惯，这个牺牲是值得的。

• 第二强化学习阶段

在这一阶段，研究人员结合了奖励信号和多样化的提示词分布来训练模型。

推理数据使用基于规则的奖励，通用数据则启用基于模型的奖励。

奖励可以公式化为：

其中

第二阶段保留了第一阶段的大部分参数，但将温度降至0.7，以防因为系数过高造导致生成内容不连贯。

此外，这里还有一个关键操作：基于模型的奖励（有用性和安全性）仅在最后400个训练步中才被引入，从而避免奖励投机的产生。

挑战与未来

DeepSeek-R1的诞生，为AI发展带来了深刻的启示，也伴随着新的挑战。

• 能力局限
• 在结构化输出和工具使用（如调用计算器、搜索引擎）方面，目前的DeepSeek-R1尚有欠缺。它对提示词非常敏感，不适合复杂的少样本提示，在零样本直接提问时效果最佳。此外，由于强化学习在耗时长的软件工程任务上效率不高，R1在该领域的提升有限。
• 奖励投机
• 纯强化学习的成功，完全依赖于可靠的奖励信号。在数学、编程这类有明确对错答案的领域，这很容易实现。但对于像「写一首优美的诗」这样主观的任务，则很难设计完美的奖励模型。如果奖励信号本身有漏洞，策略模型就会像一个聪明的学生钻考试规则的空子一样，「投机取巧」、骗取高分，而不是真正提升能力。

年初，DeepSeek-R1发布后，OpenAI感觉不可思议，指责DeepSeek「可能使用了ChatGPT的输出来训练R1」。

在与审稿人的交流中，DeepSeek表示，R1并非通过复制OpenAI模型生成的推理示例来学习。

不过，与大多数其他大语言模型一样，R1的基础模型是在网络上训练的，因此它会吸收互联网上已有的AI生成的内容。

俄亥俄州立大学AI研究员Huan Sun表示，这一解释「与我们在任何出版物中看到的一样令人信服」。

Nature审稿人、Hugging Face机器学习工程师Lewis Tunstall补充说，其他实验室的复制尝试表明，DeepSeek推理方法已经足够好，不需要这样做。

他说：「我认为现在的证据相当明确，仅使用强化学习就可以获得非常高的性能。」

Lewis Tunstall说，其他研究人员现在正试图应用创建R1的方法来改进现有大语言模型的类似推理能力，并将其扩展到数学和编码以外的领域。他补充说，通过这种方式，R1「开启了一场革命」。

参考资料：HYJ

在nature正刊发论文，而且nature封面论文，这已经是学术界论文的天花板了。但是我觉得DeepSeek R1值得这份殊荣，因为它是首个达到o1正式版水平的开源推理大模型，而且公开了模型的训练技术细节，这对于推动推理大模型的行业发展具有重要意义，正如俄亥俄州立大学哥伦布分校的 AI 研究员孙焕所说：

The model has been “quite influential” among AI researchers, says Sun. “Almost all work in 2025 so far that conducts reinforcement learning in LLMs might have been inspired by R1 one way or another.”
“这个模型在 AI 研究者中产生了相当大的影响。” 孙焕表示，“到目前为止，2025 年几乎所有在大语言模型中开展强化学习的研究，或多或少都可能受到 R1 的启发。”

开源的DeepSeek R1是Hugging Face 上最受欢迎的开源模型，截至目前下载量达 1090 万次[1]。

DeepSeek R1论文今年1月份在arxiv发布预印本^[2]，nature在2月份收到投稿，经过5个月的同行评审（这是首个经过同行评审的LLM）在7月份接收论文，现在是正式在线发布（2025年9月17日）。

论文的作者很多，其中通讯作者是DeepSeek CEO 梁文峰：

DeepSeek R1的同行评审文件长达64页^[3]，总共有8位审稿人，评审经过三轮。

关于评审意见，这里列举其中大家关注的一个重要问题：R1是否蒸馏了其他模型？对于这个问题，DeepSeek团队明确回复：R1的预训练模型DeepSeek-V3-Base并未采用基于合成数据集进行大规模的显式蒸馏，其所有训练数据均来自互联网，且是自然分布。但是收集的互联网数据可能无法避免地包含由先进模型（如 GPT-4）生成的内容（数据污染问题），这对合成内容的接触均属间接且偶然。

此外，DeepSeek-V3-Base的预训练数据收集截止于2024年7月，当时尚未有任何公开的先进推理模型发布（o1-preview发布于2024年9月）。而且R1最核心的贡献R1-Zero只依赖于基于规则的 RL 算法来训练，更是完全不涉及来自先进模型的蒸馏。

那么DeepSeek R1的最核心的贡献或者创新点是什么？nature给的结论是：使用纯强化学习创建 R1。

DeepSeek’s major innovation was to use an automated kind of the trial-and-error approach known as pure reinforcement learning to create R1. The process rewarded the model for reaching correct answers, rather than teaching it to follow human-selected reasoning examples.

这里指的是DeepSeek R1-Zero，R1-Zero是直接在DeepSeek-V3 Base上进行强化学习训练（基于自研的GRPO算法，也已经被行业广泛应用），没有经过任何前置的SFT阶段。而且强化学习的奖励是基于规则的（准确性奖励 + 格式奖励），并非基于人类反馈训练的奖励模型。具体来说，R1-Zero仅凭 16.6 万道问题和一个基于规则的直接 RL 算法，就可以将 V3 Base模型转变为一个更好的“推理”模型。R1-Zero 具有重要的科学价值，因为它证明了在几乎无需人工监督的情况下，强化学习可以被端到端地有效应用。

不过，必须要说明的是R1-Zero还不具有实用性（在可读性和语言混杂方面表现欠佳），为了进一步让模型输出更符合人类偏好、提升整体可用性，最终的R1 在训练中额外引入了包含人工标注的数据。具体来说，R1的训练经过三个阶段：

• 基于DeepSeek-V3 Base使用RL训练R1-Zero，然后合成高质量的推理数据集；
• 用上个阶段合成的推理数据集微调DeepSeek-V3 Base，微调的模型再进行一轮RL训练；
• 基于上个阶段的RL模型再合成推理数据集，并且混入DeepSeek-V3训练所用的非推理数据集对DeepSeek-V3 Base进行SFT，然后再进行RL得到最终的R1模型。

这里最后的RL也是结合基于规则的奖励和基于模型的奖励，后者主要是用于通用任务数据。虽然R1的训练流程加入了SFT，但是可以看到R1-Zero是发挥重要作用的。

此外，补充一个信息是这次除了nature正文，DeepSeek还给出了长达83页的补充材料，在补充里面详细给出了DeepSeek R1的训练细节，包括数据配方，训练超参数等，这可是难得的宝贵材料。

最后衷心地祝贺DeepSeek团队，期待他们继续引领开源大模型的发展！

其实我觉得DeepSeek V3论文也拿个nature也是不过分的：用低于业界的训练成本研发出了一个开源的SOTA大模型。

参考

1. ^https://www.nature.com/articles/d41586-025-03015-6
2. ^https://arxiv.org/abs/2501.12948
3. ^https://static-content.springer.com/esm/art%3A10.1038%2Fs41586-025-09422-z/MediaObjects/41586_2025_9422_MOESM2_ESM.pdf

怎么这次“DeepSeek-R1论文登上Nature封面”的消息出来，就如石沉大海，网上一点浪花都没有了呢？

我之前写文章聊Deepseek团队绕开CUDA直接调用显卡，最大程度挖掘显卡效能，评论区有多少三无小号在那喷我没资格科普？

我当时还纳闷，开篇我就说了自己的背景，本科计算机，欧洲自然科学硕士，毕业论文就是《基因算法在背包问题上的商业应用》。

毕业在ASML总部做寻径算法，虽然没多久回国做咨询，但后来带团队做的也是金融领域信用模型。

这都是小20年前的事了，也算是国内第一批把演化类算法引入金融领域的人。

不论学术背景，还是实践背景，如果说我没资格聊算法模型，那有资格的人恐怕也不多了。

所以我一直好奇，看到这个背景还在喷的究竟是些什么人。

直到这次，人家论文上《Nature》，而且还是封面文章，这么大的事，网上却啥动静，我才终于想明白。

原来之前黑Deepseek那些人是有组织的，能上热搜是有人买了流量的，那些喷我的人是领工资的。

人家根本不关心Deepseek究竟是怎么回事，人家的目的就是喷。

Deepseek不行，就是中国科技不行。

中国科技不行，就是中国不行。

中国不行，美国就行。

绕来绕去，还是变着花的“中国崩溃论”那一套。

当然，收钱办事也未必都是蠢货，其中也有明白人。

所以你看这次登上《Nature》封面，人家一声不吭，就当没发生。

广告

墨子连山新作 最有趣的《孙子兵法》

拼多多

拼团价¥29.50

去购买​

可问题是，你不喊疼就不算打脸了吗？

这次打脸的是《Nature》，一家英国人创办的全球顶级科学期刊。

这回你再说Deepseek造假，面对的可就不是Deepseek团队，甚至不是中国，而是地球上最顶级的科学家团队，他们代表的就是全人类。

任何论文想上科学期刊，都必须经过严格的同行评议。

论文发给哪些人评审，是保密的、随机的，而且不可能只发给本国人。

尤其像《Nature》这种顶级期刊，评议过程更加严格。

更何况这还是一篇封面文章，一旦出现问题，《Nature》被打脸，150多年的声誉可能毁于一旦。

所以，对于这种本身存在一定争议，又极具开创性的论文，编辑们必然慎之又慎。

同行评议更加严格，可能从通常的几人，增加到十几人，甚至几十人。

对论文中所提到的试验，必定要经过不同团队的复现。

在如此严格的审查面前，如果还有人不知死活非要叫板说人家造假，结果只能是自取其辱。

因此，这次《Nature》高调收录Deepseek论文，并登上封面，就相当于全球科学界给了Deepseek背书。

从此Deepseek的事，就是全球科学圈的事，而不再是单纯商业圈的事。

之前ChatGPT这帮人不是上蹿下跳要起诉Deepseek蒸馏他们吗？

后来怎么没动静了？

Deepseek这篇内容里面解释得很清楚，核心在于仅依靠强化学习，就可以教会大语言模型进行推理。

整个过程无需依赖提示工程，也几乎不依赖人工数据。

基于强化学习技术的DeepSeek-R1，训练成本仅为29.4万美元，证明了高性能 AI 模型开发未必需要天价投入。

这就好比你雇了1000人没日没夜地挖土，确实挖出来不少，也累得够呛。

但总算证明，只要肯挖，还是能挖出来的。

结果人家发明了挖掘机，一铲子下去，比你一年挖出来的都多。

这时候你跳出来说人家这一铲子的土里有你之前挖出来的土？

这是土的问题吗？

这是挖的问题。

至于后来为啥没动静了，我估计是不是他们得忙着跟投资人解释，为啥投了几千亿美元，最后人家不到30万就搞定。

广告

职场通关秘籍 墨子连山 精装版（定制书皮）

拼多多

拼团价¥68.00

去购买​

《Nature》这次为啥这么积极把Deepseek推到封面？

因为过去大模型的叙事多由公司新闻稿等构成，同行评审长期被忽视，导致模型的科学性等依赖厂商自说自话。

DeepSeek-R1被《Nature》认可，将AI模型拉回“科学共同体的规训”，赋予其与物理学等学科并列的学术地位。

表明AI不仅有商业炒作，也能在严格科学制度下发展。

同行评审要求数据集、训练细节等暴露在独立专家审视下，打破了 AI 行业“黑箱”加“宣传战” 的常态，建立了验证习惯，为行业透明度和可信度树立了新标杆。

《Nature》也借此呼吁其他公司效仿，要推动行业对透明度、可重复性和开源共享的重视，有助于建立更健康、更可靠的 AI 开发文化。

所以你说这次是《Nature》给Deepseek面子？

恐怕正相反，是Deepseek给了《Nature》面子，凭借Deepseek这篇论文，这个顶级期刊又一次在AI赛道成为引领者。

有些人发《Nature》是天大的荣誉。

而有人发《Nature》，是《Nature》天大的荣誉。

反正收藏你也不看，点个赞意思下得了……

注意！我要打广告了：
中美贸易战，我要参战！
墨子诚邀中国外贸厂家，订制墨子俱乐部周边（服装鞋帽、日常用品等），长期合作，不低于外贸价格，追求品质品位。
有意者请加助理微信：moziclub，亲身见证美国衰落，中国崛起。
精装书皮、速干帽，已上架，有兴趣的同学可以搜索微信小店“墨子定制”，里面还有3本我的签名版图书。
还有，助理忙不过来，继续再招第三位全职助理（直播辅助及视频剪辑），远程居家办公，老粉丝优先，加助理微信注明“应聘”。

最新专栏：《道德经》《论语》《周易》独家解读连载中，真正可以实践的经

nature就一野鸡杂志，给钱就能上。

一个来自中国的大模型架构，

一个来自中国的新的标准，

一个来自己中国的新标准被欧美顶级科学界所认可。

这玩意和5G一眼，都是标准。

其实这半年的大模型架构，很多都是在deepseek v3/r1的大框架下调参，调loss搞出来的。

如何看半年不到 DeepSeek已跌落神坛？ - 平凡的回答 - 知乎

如何看半年不到 DeepSeek已跌落神坛？