在nature正刊发论文，而且nature封面论文，这已经是学术界论文的天花板了。但是我觉得DeepSeek R1值得这份殊荣，因为它是首个达到o1正式版水平的开源推理大模型，而且公开了模型的训练技术细节，这对于推动推理大模型的行业发展具有重要意义，正如俄亥俄州立大学哥伦布分校的 AI 研究员孙焕所说：
The model has been “quite influential” among AI researchers, says Sun. “Almost all work in 2025 so far that conducts reinforcement learning in LLMs might have been inspired by R1 one way or another.”
“这个模型在 AI 研究者中产生了相当大的影响。” 孙焕表示，“到目前为止，2025 年几乎所有在大语言模型中开展强化学习的研究，或多或少都可能受到 R1 的启发。”
开源的DeepSeek R1是Hugging Face 上最受欢迎的开源模型，截至目前下载量达 1090 万次[1]。
DeepSeek R1论文今年1月份在arxiv发布预印本[2]，nature在2月份收到投稿，经过5个月的同行评审（这是首个经过同行评审的LLM）在7月份接收论文，现在是正式在线发布（2025年9月17日）。
论文的作者很多，其中通讯作者是DeepSeek CEO 梁文峰：
DeepSeek R1的同行评审文件长达64页[3]，总共有8位审稿人，评审经过三轮。
关于评审意见，这里列举其中大家关注的一个重要问题：R1是否蒸馏了其他模型？对于这个问题，DeepSeek团队明确回复：R1的预训练模型DeepSeek-V3-Base并未采用基于合成数据集进行大规模的显式蒸馏，其所有训练数据均来自互联网，且是自然分布。但是收集的互联网数据可能无法避免地包含由先进模型（如 GPT-4）生成的内容（数据污染问题），这对合成内容的接触均属间接且偶然。
此外，DeepSeek-V3-Base的预训练数据收集截止于2024年7月，当时尚未有任何公开的先进推理模型发布（o1-preview发布于2024年9月）。而且R1最核心的贡献R1-Zero只依赖于基于规则的 RL 算法来训练，更是完全不涉及来自先进模型的蒸馏。
那么DeepSeek R1的最核心的贡献或者创新点是什么？nature给的结论是：使用纯强化学习创建 R1。
DeepSeek’s major innovation was to use an automated kind of the trial-and-error approach known as pure reinforcement learning to create R1. The process rewarded the model for reaching correct answers, rather than teaching it to follow human-selected reasoning examples.
这里指的是DeepSeek R1-Zero，R1-Zero是直接在DeepSeek-V3 Base上进行强化学习训练（基于自研的GRPO算法，也已经被行业广泛应用），没有经过任何前置的SFT阶段。而且强化学习的奖励是基于规则的（准确性奖励 + 格式奖励），并非基于人类反馈训练的奖励模型。具体来说，R1-Zero仅凭 16.6 万道问题和一个基于规则的直接 RL 算法，就可以将 V3 Base模型转变为一个更好的“推理”模型。R1-Zero 具有重要的科学价值，因为它证明了在几乎无需人工监督的情况下，强化学习可以被端到端地有效应用。
不过，必须要说明的是R1-Zero还不具有实用性（在可读性和语言混杂方面表现欠佳），为了进一步让模型输出更符合人类偏好、提升整体可用性，最终的R1 在训练中额外引入了包含人工标注的数据。具体来说，R1的训练经过三个阶段：
- 基于DeepSeek-V3 Base使用RL训练R1-Zero，然后合成高质量的推理数据集；
- 用上个阶段合成的推理数据集微调DeepSeek-V3 Base，微调的模型再进行一轮RL训练；
- 基于上个阶段的RL模型再合成推理数据集，并且混入DeepSeek-V3训练所用的非推理数据集对DeepSeek-V3 Base进行SFT，然后再进行RL得到最终的R1模型。
这里最后的RL也是结合基于规则的奖励和基于模型的奖励，后者主要是用于通用任务数据。虽然R1的训练流程加入了SFT，但是可以看到R1-Zero是发挥重要作用的。
此外，补充一个信息是这次除了nature正文，DeepSeek还给出了长达83页的补充材料，在补充里面详细给出了DeepSeek R1的训练细节，包括数据配方，训练超参数等，这可是难得的宝贵材料。
最后衷心地祝贺DeepSeek团队，期待他们继续引领开源大模型的发展！
其实我觉得DeepSeek V3论文也拿个nature也是不过分的：用低于业界的训练成本研发出了一个开源的SOTA大模型。