先省流：DeepSeek 更新并开源 V3.2 正式版，同时开源长思考增强版 V3.2 Speciale 模型。亮点：

• Agent 能力进化：V3.2 支持在思维链思考过程中动态调用工具，实现边想边做，大幅提升了复杂任务的泛化能力。
• 挑战 SOTA 推理：DeepSeek-V3.2-Speciale 模型融合 DeepSeek-Math-V2 的定理证明能力，专攻逻辑极限 ，数学能力硬刚闭源的 Gemini 3 Pro（但推理成本较高）。

已经进 12 月了，再过一段时间就是 DeepSeek V3 发布一周年了，我还挺期待 DeepSeek 今年圣诞节再搞波大的，求求了！只要有 V4，我什么都会做的！V3.5 也行啊！

有人可能会觉得，月初才发 V3.2，元旦前估计就这了。这就是不懂 DeepSeek，我个人觉得 DeepSeek 圣诞节搞事的可能性依然很大。

先回顾一下 DeepSeek 一年来的发布：

• 2024/12/10：发布 DeepSeek V2.5
• 2024/12/26：发布 DeepSeek V3（间隔半个月）：初见端倪
• 2025/1/20：发布 DeepSeek R1（间隔不到一个月）：改写历史
• 2025/3/24：发布 DeepSeek-V3-0324（顺便一提：我自己今年消耗 token 最多应该就是 DeepSeek V3-0324，一方面是懒得改 API，一方面是够用）
• 2025/5/28：发布 DeepSeek-R1-0528
• 2025/8/21：发布 DeepSeek V3.1：混合推理，不再发布单独的推理模型
• 2025/9/22：发布 DeepSeek-V3.1-Terminus：修复 V3.1 版本中的异常字符问题
• 2025/9/29：发布 DeepSeek-V3.2-Exp（间隔一周）：引入 DSA 稀疏注意力机制，在不影响输出效果的前提下大幅降价
• 2025/10/23：发布 DeepSeek-OCR
• 2025/11/27：发布 DeepSeek-Math-V2
• 2025/12/1：发布 DeepSeek V3.2 正式版和 DeepSeek-V3.2-Speciale

看上去，DeepSeek 似乎花了一整年的时间，只从 V3 走到了 V3.2，但实际上，DeepSeek 这一年来就是在做一件事情：如何在不增加模型规模的前提下，通过架构优化和强化学习，不断提升模型的「思考密度」、「执行效率」和「Agent 能力」，同时降低模型的推理成本。

DeepSeek 是缺人力物力财力数据去训 T 级参数规模的模型吗？我觉得不是。单纯就是发展路线的选择，我相信 DeepSeek 用一年时间，已经把 V3 的基模调出花了。

说实话，这种不为外部环境所动，坚持自我路线的节奏，太稳了，太可怕了。因为高速发展的创新产业，拼的就是机会成本，毕竟团队的人财物力都是有限的，可以探索的方向也是有限的。

从这种角度上讲，大家觉得，DeepSeek 是发 V4 更恐怖，还是发 V3.3、3.4…3.9…3.99 更恐怖呢？

DeepSeek 现在就给我这种，厚积薄发练内功的感觉。

想想，Ilya 前几天说 Scale 时代快结束了，要回归 Research 时代。有没有一种可能…DeepSeek 一直在 Research，没有 Scale 呢？（这里指参数量级，推理还是 scale 了的）

当别家粗放地把参数卷到碰数据墙，卷到了边际效应递减，单纯增加参数量带来的性能提升越来越小时，DeepSeek 搁这里精耕细作。

换句话说：671B 都这样了，1T 参数还不起飞咯？！

扯远了，回归 DeepSeek V3.2。V3.2 不是独立的，是 V3.1 以来的延续。

V3.1 比较好理解，就是混合推理；

V3.2-Exp 主要是 DSA（稀疏注意力机制）。为了验证 DSA 的有效性，团队特意将 V3.2-Exp 的训练设置与 V3.1-Terminus 进行了严格对齐。在各领域的公开评测集上，DeepSeek-V3.2-Exp 的表现与 V3.1-Terminus 基本持平。

也就是说，V3.2-Exp 几乎实现「无损压缩」。模型在变快、变省资源的同时，智商并没有下降。

V3.2-Exp 解决了「效率」问题，V3.2 继续提升 Agent 和推理能力的改进版。

其次，就是工具使用融入思考过程，实现「思考-调用-再思考」。

这种能力不是凭空而来的。DeepSeek 在技术报告中透露，他们提出了一种大规模 Agent 训练数据合成方法。

他们构造了 1800+ 个环境 和 85,000+ 条复杂指令。这些任务具有一个鲜明的特征：「难解答，易验证」。这正是强化学习最喜欢的场景。通过这种大规模的合成数据训练，模型在并未针对特定工具进行特训的情况下，展现出了极强的泛化能力。

至于 DeepSeek-V3.2-Speciale，这个版本并不适合普通用户使用，它依然是一个「偏科生」，一个为了解题而生的长思考增强版，一个探索推理极限的特别版本。

Speciale 版本结合了 DeepSeek-Math-V2 的定理证明能力，通过数学竞赛的测评，在处理高度抽象的逻辑符号和严谨证明方面，已经达到了人类顶尖选手的水平。尽管有代价：Speciale 模型在处理任务时，会消耗显著更多的 Token。

总之，V3.2 依然是一个扎实而稳步推进的更新版本，Agent 能力、推理能力都有极大提升。

对于开发者和企业用户来说，DeepSeek V3.2 的发布释放了一个信号：开源模型对闭源模型的追赶速度并没有放缓，反而会因为架构创新而变得更具性价比。

Agent 的 token 消耗量是巨大的，所以当模型能力持平而 Agent 大量落地的时候，谁更有性价比就会成为决定因素。

别忘了，DeepSeek 是第一个发起模型价格战的鲶鱼，显然已经抢先占领了有利地形。

对了，梁文锋曾经说过：

数学和代码是 AGI 天然的试验场，有点像围棋，是一个封闭的、可验证的系统，有可能通过自我学习就能实现很高的智能。

Math-V2、Speciale 已经来了，Coder 还会远吗？V4 还会远吗？我充满期待。

以上，详见 DeepSeek 官方的更新公告：

在GPT-5-mini和Grok-4-fast-reasoning之后，很久以来国产模型都没有能够被真正使用到的场景，Deepseek-v3.2-1201终于再次突破。

和之前几次测评一样，仍然是真实工作的需求场景，要求是这样的：

我手边有上万份试卷，已经全部OCR完毕，每一份试卷的OCR结果是这样的：

我需要把每一道题从OCR结果中抽取出来，比如：

第二题应该是上图的第一到第三行，从"2. （4分）"开始，到"(\circ)) $"结束。

第三题是上图的第五行到第十三行。从"3. （4分）"开始，到第十三行的"图像下降"结束。

我需要大模型将每一份试卷每一道题的题目和解析分别完整、不缺漏地分割输出。

也就是说，输入一整份试卷的ocr结果，期望输出的是每一道题的题干和解析的开头和结尾。

这是一个非常重的任务，和我们以前的任务测试都不太一样，有几个难点：

1，输入token很多，一次输入一整份试卷，大概2-3万token。

2，需要进行大量推理，分清楚每一道题的开头和结尾，因为试卷格式差异极大，这个工作不可能用正则表达式完成，在试卷识别的时候，也要分清楚大题、小题、相互之间关联的题目、非独立的题目等等，因此本身就包含了一定的“做数学题”的要求在里面。

3，很多图片作为占位符存在，有时候一些图片会跨行，但是大模型并不能看到图片（为了省钱），所以大模型要根据每一道题的“见图““如图”的说法，识别每一张图的占位符，推测每一行的图是哪道题的，把这一行补回来。

我使用六个模型各对10份试卷进行了输出，包括：GPT-5、GPT-5-mini、Deepseek-v3.2、Deepseek-v3.2-Speciale、Gemini-3.0-pro、Grok-4-1-fast-reasoning。

几项结果如下：

上图给出了不同模型的每个模型的用时。速度最快的是grok-4-1-fast-reasoning，每张试卷只需要30秒不到。最慢的是deepseek-speciale，一份试卷需要761秒才能完成。deepseek需要339秒，比speciale节省一半多的时间。另外的gpt-5-mini、gemini-3.0-pro、gpt-5完成速度都在80-100秒左右。但需要注意的是，gpt-5-mini和grok-4-1-fast的“平均每次耗时”和“平均每卷耗时”不一样，这是因为这两个模型由于首次失败，均对一份试卷进行了不止一次尝试。

上图给出了这六个模型的输出token对比。grok-4-1-fast的输出也是最少的，3千多token就完成了任务；其次是gpt-5-mini，需要6千多token。gpt-5也是6千多。gemini-3.0-pro要9千多token。deepseek-v3.2需要一万多token，而speciale则迅速跃升至4万token。

上图给出了输出token中百分之多少是思考，speciale的输出只有2.3%是用来回答问题的，另外97.7%都是在思考……

上图给出了每一份试卷的成本估算，用美元计价。

可以看到，价格最低的是grok-4-1-fast，每份试卷只需要6厘美元，我跑1万份试卷只要60块美元，四舍五入不要钱了都。接下来是deepseek，虽然单价便宜，但由于输出token偏多，每张试卷要1分美元，价格大概是grok的1.6倍；然后是gpt-5-mini，1分8厘美元；deepseek-speciale要2分3厘美元，差不多要grok-4-1-fast的四倍。这四个模型相对来说价格比较低，接下来轮到两个最大的模型，gpt-5和gemini，分别每张试卷需要0.091美元和0.156美元，达到了grok-4-1-fast的15倍和26倍。

从这张图来看，无论是成本还是速度，最有竞争力的都必然是grok-4-1和gpt-5-mini。如果不在意速度但特别在意成本，那么deepseek会是首选。它的耗时是grok-4-1的10倍，但是价格也比较低。

到这里就结束了吗？没有。这不是一个很容易的任务，只看速度和成本，一定是行不通的，我们需要手动检查生成的质量。我把所有的输出合并在一起，用肉眼一条条进行检查，果然发现了极多错误。

五个模型正确，grok错误——题干多了一行，解析也多了一行，把下一题的开头拿进来了。

前四个模型正确，gpt-5-mini漏了最后的“故选：A”和“点评”，grok又多拿进来一行，把下一题的题干放进来了，而且解析一开头的题目少抄一行题干。

这题错的比较多，speciale和gpt-5全对，deepseek多拿进来一行（最后的“三、解答题”）；gemini和deepseek的题干少抄一行，到“直线y=m （0”这里被截断了；gpt-5-mini少抄一行最后的“点评”。

deepseek、gemini、gpt-5和gpt-5-mini正确，speciale多抄了一行下一题题干，grok的题干和解析都多抄一行。

这样我肉眼看了几百道题以后，第一印象是：

在这个任务中，deepseek的质量，要远好于grok和gpt-5-mini，基本和gemini-3.0-pro的错误率是一致。虽然grok-4-1-fast和gpt-5-mini速度远快于deepseek，但他们的出错概率较高，相比deepseek，是基本不可用的。

第二印象是，在这个任务中，虽然speciale模型花费了十倍以上的时间和高于gpt-5-mini的成本，但是其效果并没有deepseek本身好。而gemini-3.0-pro作为最贵的模型，虽然正确率也很高，但是也会有错误。

第三印象是，肉眼看了几百道题，GPT-5连一个错误都没有，全部正确。

因此，在上图中，我以gpt-5为准确率基准，画出了每一个模型的覆盖率（应该覆盖的行是不是漏掉了）以及冗余率（不应该覆盖的行是不是放进去了）。可以看到，除了作为基准的gpt-5，gemini和deepseek的正确率非常接近，deepseek虽然冗余率略高（主要是多拿进来几行），这两个模型都是完全可用的。而且可以看到deepseek的漏损率（千分之9）要比gemini要更低（千分之15），在这个任务里面，漏损率比起冗余率更值得关注，题目多了一行大家都能理解，题目少了一行大家就看不懂了啊！因此，如果就结果而言，deepseek的成果可用性是要比gemini更好的。

在deepseek和gemini之后，是deepseek-speciale，更慢，更贵，但是错误率也更高，说明这的确是一个做数学题特化模型，在这样和数学有一定相关性的任务的上，表现也不尽如人意。gpt-5-mini的漏损率极高，完全不可能用。grok-4-1-fast-reasoning和deepseek的覆盖率完全一致，但倾向于把更多的行放进来，因此在感官上会比较混乱。

于是，就到了最终决定的阶段。首先排除不可用的gpt-5-mini，超级贵的gemini，超级慢但效果也没有到最好的speciale，我们需要在gpt-5、grok-4-1-fast、deepseek中间选一个。

最后，考虑到这几点：

1，gpt-5价格确实要高出太多，它的正确率相对deepseek的提升，不值得9倍成本；

2，grok-4-1-fast冗余率太高了（可以看到例子里面grok总是倾向于多放几行进来），需要额外的模型做进一步处理，把不同题目的重复行去掉，这会增加项目复杂度。

3，deepseek虽然慢十倍，但可以用并行来提速，而且这个任务本身量不大，grok跑半天能完成，deepseek跑三天也能完成，时间上可以接受。另外有些任务，grok要跑3天，deepseek要跑一个月，这就不得不考虑速度了，但这个任务上我们可以放宽一些对速度的要求。

于是，这个任务最终决定交给deepseek来完成！很高兴再次能为deepseek充值！在测试之前，本来非常担心deepseek只有128k的小窗口会不会无法支撑2-3万token的输入和计算，但结果证明它的表现非常好。

同时也要鄙视一下gemini-3.0-pro，早知道它这次升级的上下文不行，真没想到区区两三万token就能开始出错，真的只能做一个视觉模型了。

这次3.2speciale版已经把数学推理能力融入主模，很可能接下来就是多模态了，无比期待。

前两天 DeepSeek 突然发数学模型的时候，我就乐了。

我在群里跟朋友说，这不对劲，明显是战术预热，大的要来了。

就在今晚，恰逢 ChatGPT 三周年生日。

DeepSeek 送来生日礼物，还是个双响炮。

扔出了 V3.2 正式版，和一个叫 Speciale 的特别预览版。

我实测了一晚上，废话不多说，直接上结论。

DeepSeek-V3.2 正面硬刚 GPT-5。

DeepSeek-V3.2-Speciale，贴脸输出 Gemini 3.0 Pro。

还是先把技术细节先放一边，直接感受下实测。

实测

按照惯例，先来看模型自我介绍卡片。

看到这样的卡片，真的赏心悦目，人类毕竟是视觉动物。

提示词是下面这个，把官方发布的博文放在后面，一并扔给 DeepSeek 就好。

你是一名全球顶尖的网页设计师和前端开发专家，擅长创造视觉上令人印象深刻的网页，具体要求：
1、基于我提供给你的信息，生成 Bento Grid 风格的中文网页
2、技术栈使用 HTML、Tailwind CSS 和 JS
3、字体、图标、图表、动画库等常见依赖通过 CDN 的方式引入
4、尽可能在一屏中展示全部信息，整体配色要有呼吸感和科技感
5、注意每张卡片中的布局以及重点内容的视觉设计，关键内容或数字使用超大字体
根据如下内容创建网页：xxx

接下来是咱们的招牌测评，这篇咱们先来测 DeepSeek-V3.2。

让它手搓一个 3D 火山喷发实验模拟，大家先看效果。

00:13

不说别的，单从这个实测的效果来看，相比之前进步实在太大了。

甚至能媲美我前两天测过的 Claude Opus 4.5。

如果你看过我之前几篇文章，一定能明白我的感受。

再让它创建一个 Windows 操作系统的克隆版。

00:24

一次跑通，功能上还算完善，有模有样。

有一说一，样式上虽然已经很不错了，但相比 Gemini 3 Pro 还是有进步空间。

最后，再让他复刻一个 YouTube。

同样一次跑通。

不仅页面是响应式的，还原度也很不错。

甚至比之前 Claude Opus 4.5 生成的还要完善。

跑分

看完实测，简单过一下关键的跑分。

以前的推理模型，聪明是聪明，但太爱在那碎碎念了。

看着屏幕上哗哗跑的字，那不是字，那是我的时间，那是我的钱啊。

DeepSeek-V3.2 这次通人性了，不仅性能追平 GPT-5，还学会了不废话。

能一句话解决的，绝对不会多说第二句。

再看 Speciale 特别预览版。

DeepSeek 直接摊牌说，做这个版本不是为了别的。

就是为了探索开源模型能力的边界。

硬生生的把 V3.2 的长思考模式，跟 DeepSeek-Math-V2 结合起来。

这就像给一个顶级的哲学家，强行植入了一个数学家的脑子。

结果就是，在主流推理基准测试里，它的性能表现直接贴脸输出 Gemini 3.0 Pro。

史上第一次，开源模型站在了顶级的闭源模型旁边，平起平坐。

我真觉得这东西不是拿来用的，是拿来供着的，你看这成绩单。

ICPC 2025（国际大学生编程竞赛全球总决赛）金牌，人类第二名。

IOI 2025（国际信息学奥林匹克）金牌，人类第十名。

还有 IMO 2025（国际数学奥林匹克）和 CMO 2025（中国数学奥林匹克）的金牌。

最后这个，是 DeepSeek 这次最狠的一招。

它是 DeepSeek 家首个把思考模式和工具调用彻底打通的模型。

一边深度思考，一边伸手干活。

它是怎么炼成的？

魔鬼特训，把它扔进 1800 多个环境，用 85000 多个复杂指令疯狂进行强化学习。

结果，智能体评测，拿到了开源最高分。

甚至有的分数，比顶尖的闭源模型还高。

这还不是最离谱的。

最离谱的是，官方压根没有针对测试集做特训。

这分，拿得干干净净。

开源和闭源之间那道曾经看来不可逾越的鸿沟。

今天，被硬生生快要填平了。

最后，再聊下技术报告里这个关键的技术，叫 DSA 稀疏注意力。

用大白话讲，就是科学摸鱼。

之前的 AI，你扔给他一个 10 万字的文档，它只能逐字逐句的读。

V3.2 学会了过滤废话，只看重点，效果反而更好了。

就像你上学时候最羡慕的那种同学，看着天天玩的比谁都欢乐。

结果一到期末考试，人家次次年级前 100。

尾声

三年前的今天，ChatGPT 把人类带入了新的时代。

三年后的今晚，DeepSeek 用这两份沉甸甸的模型。

告诉世界，AI 的未来一定是属于开源的。

过去这几年，我们经常听到一种声音。

顶级的 AI 是昂贵的，是闭源私有的，是只有硅谷才能造出来的。

DeepSeek 一直都不信这个邪。

他们从来没有大张旗鼓的发布会，也没有铺天盖地的营销。

只有一篇篇技术论文，和一个个直接扔在 HuggingFace 上的开源链接。

他们用最硬核的方式证明了一件事。

智能不应该被垄断，它应该像水电煤一样，流进千家万户，流进每一个普通人的手里。

这个冬天注定不会太冷，因为 DeepSeek 点的这把开源之火，烧得正旺。

而且我猜，过阵子可能还有大的。

底气就在于这次发布的DeepSeek v3.2 Speciale这个模型，我看很多博主把Speciale拼成了special，意思虽然八九不离十，但 Speciale 本身是意大利语，常见于超级跑车、限量工程机、或者手工定制设备上，用来强调“高性能的特别调校版”。

其实也很直白的反应了DS这次更新的两个模型的用意。

1 DS V3.2普通版：相比起上一代更强的推理和Agent能力

2 Speicale特别定制版，不讲成本、堆高算力，目标就是 与世界顶尖闭源模型正面硬刚性能。

就是论文中的这句话，DeepSeek-V3.2-Speciale，一个高计算的变体，推理性能超越「闭源模型GPT5」以及和刚刚发布的Gemini-3.0-Pro旗鼓相当。

战绩可查，IMO 2025（国际数学奥林匹克）金牌、IOI（国际信息学奥林匹克）金牌。

这两个指标本来就是 Google 和 OpenAI 过去常用来证明闭源旗舰模型能力上限的标杆，如今 DeepSeek 在开源体系里复刻了同等级的表现，甚至在某些科目上——比如 AIME 2025、HMMT 2025——成绩还比它们更进一步。

当然，DS的最大传统就是开源，它把分数和消耗的token数量都摘了出来，Speciale特别版本的确在所有任务上消耗的token数量都要高于GPT5和Gemini-3.0-Pro，这跟DS惯常的降本好像有点儿冲突。

但DS作为对冲，针对于token消耗量大的问题，这次的技术报告里面专门提到了他们提出的Deepseek Sparse Attention机制。

这是这篇技术报告的三大技术突破之一，也是 DeepSeek 想解决“Speciale 虽强，但成本偏高”这一矛盾的关键。

DSA 的作用是什么？
一句话总结：

在不牺牲性能的前提下，把注意力计算量大幅缩小，尤其针对长上下文场景——成本更低、推理更快、吞吐更高。

这套机制让普通版 V3.2 的性价比极高，也让 Speciale 的“堆算力策略”在未来依然有优化空间，而不是彻底走向不可持续。

更重要的一点是，除了 DSA，论文还提出了两个核心基础设施：

1. 大规模 RL 训练框架（Scalable RL Framework）

这是 V3.2 推理能力巨幅提升的根本原因。DeepSeek 显著扩展了 RL 的后训练算力规模，使模型的 reasoning 与 tool-use 能力逼近闭源顶级模型。

2. 大规模 Agentic Task Synthesis Pipeline

这是为了让模型在复杂交互、工具调用、多步规划中“像代理一样思考”。它自动构建海量高质量任务，让模型的 Agent 综合能力真正可扩展。

更夸张的是，DeepSeek 甚至把 IOI 2025、ICPC World Finals、IMO 2025 和 CMO 2025 这些顶级竞赛中，模型的最终提交记录都打包放在 assets/olympiad_cases 目录下公开了出来，方便全世界研究者对着它的「答卷」逐题验收，这种透明度在整个行业里都不多见。

1. 怎么让模型在长文本下“读”得更快？（DSA 架构）
2. 怎么让强化学习（RL）在更大规模上不训崩？（GRPO 的改进）
3. 怎么解决 Agent 数据不够用的问题？（大规模合成流水线）

下面是热乎的技术报告解读：

• 论文标题：DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models
• 论文链接：https://modelscope.cn/models/deepseek-ai/DeepSeek-V3.2/resolve/master/assets/paper.pdf

1. 引言

如今，开源模型与闭源专有模型之间的性能差距并未如预期般缩小，反而呈现扩大的趋势。DeepSeek 团队通过分析认为，限制开源模型在复杂任务上表现的主要因素有三点：

1. 架构效率瓶颈：传统的注意力机制（Vanilla Attention）在处理长序列时效率低下，阻碍了可扩展的部署和有效的后训练。
2. 后训练资源分配不足：开源模型通常缺乏在后训练阶段的算力投入，限制了其在困难任务上的性能上限。
3. Agent 能力滞后：在工具使用、泛化和指令遵循方面，开源模型与闭源模型存在显著差距。

为了解决上述问题，DeepSeek-V3.2 提出了一整套解决方案，涵盖了从底层注意力机制的设计到高层 Agent 数据合成的全流程。

2. DeepSeek-V3.2 模型架构

DeepSeek-V3.2 的基础架构沿用了 DeepSeek-V3 系列的设计，但在注意力机制上进行了重大调整，引入了 DeepSeek Sparse Attention (DSA)。

2.1 DeepSeek Sparse Attention (DSA) 原理

DSA 的设计目标是在保持长上下文性能的前提下，大幅降低计算复杂度。DSA 主要由两个核心组件构成：闪电索引器（Lightning Indexer）和细粒度 Token 选择机制（Fine-grained Token Selection Mechanism）。

2.1.1 闪电索引器 (The Lightning Indexer)

闪电索引器的作用是快速计算查询 Token（Query）与前序 Token 之间的相关性分数，从而确定哪些 Token 值得被“关注”。

给定查询 Token $h_t \in \mathbb{R}^d$h_t \in \mathbb{R}^d 和前序 Token $h_s \in \mathbb{R}^d$h_s \in \mathbb{R}^d，索引分数 $I_{t,s}$I_{t,s} 的计算公式如下：

$$I_{t,s} = \sum_{j=1}^{H^I} w_{t,j}^I \cdot \text{ReLU}\left( \mathbf{q}_{t,j}^I \cdot \mathbf{k}_s^I \right) \\$$ I_{t,s} = \sum_{j=1}^{H^I} w_{t,j}^I \cdot \text{ReLU}\left( \mathbf{q}_{t,j}^I \cdot \mathbf{k}_s^I \right) \\

其中：

• $H^I$H^I 表示索引头的数量。
• $\mathbf{q}_{t,j}^I \in \mathbb{R}^{d^I}$\mathbf{q}_{t,j}^I \in \mathbb{R}^{d^I} 和 $w_{t,j}^I \in \mathbb{R}$w_{t,j}^I \in \mathbb{R} 均由查询 Token $h_t$h_t 导出。
• $\mathbf{k}_s^I \in \mathbb{R}^{d^I}$\mathbf{k}_s^I \in \mathbb{R}^{d^I} 由前序 Token $h_s$h_s 导出。
• 采用 ReLU 作为激活函数，旨在提高吞吐量。

由于索引头的数量较少，且可以使用 FP8 精度实现，该模块的计算效率较高。

2.1.2 细粒度 Token 选择机制

基于索引器计算出的分数 $\{I_{t,s}\}$\{I_{t,s}\}，模型执行 Top-k 选择。对于每个查询 Token $h_t$h_t，机制仅检索索引分数最高的前 $k$k 个 Key-Value 对 $\{c_s\}$\{c_s\}。

最终的注意力输出 $u_t$u_t 计算如下：

$$u_t = \text{Attn}(h_t, \{c_s \mid I_{t,s} \in \text{Top-k}(I_{t,:})\}) \\$$ u_t = \text{Attn}(h_t, \{c_s \mid I_{t,s} \in \text{Top-k}(I_{t,:})\}) \\

这种机制将注意力机制的核心计算复杂度从 $O(L^2)$O(L^2) 降低到了 $O(Lk)$O(Lk)，其中 $k \ll L$k \ll L。

2.2 DSA 在 MLA 中的实例化

为了能够从 DeepSeek-V3.1-Terminus 检查点进行持续训练，DeepSeek-V3.2 将 DSA 实例化在多头潜在注意力（MLA, Multi-Head Latent Attention）架构之下。

出于计算效率的考量，DeepSeek-V3.2 基于 MLA 的 MQA (Multi-Query Attention) 模式实现了 DSA。在这种模式下，每个潜在向量（MLA 的 Key-Value 条目）在查询 Token 的所有查询头之间共享。

2.3 持续预训练策略

从 DeepSeek-V3.1-Terminus（上下文长度扩展至 128K）开始，训练分为两个阶段，旨在将模型适配到稀疏注意力模式。

2.3.1 密集预热阶段 (Dense Warm-up Stage)

此阶段的目标是初始化闪电索引器。

• 配置：保持密集注意力（Dense Attention），冻结除闪电索引器外的所有模型参数。
• 目标：使索引器的输出拟合主注意力分数的分布。
• 过程：对于第 $t$t 个查询 Token，首先聚合所有注意力头的主注意力分数，沿序列维度进行 L1 归一化，得到目标分布 $p_{t,:} \in \mathbb{R}^t$p_{t,:} \in \mathbb{R}^t。
• 损失函数：采用 KL 散度损失：

$$\mathcal{L}^I = \sum_t D_{\text{KL}}(p_{t,:} \parallel \text{Softmax}(I_{t,:})) \\$$ \mathcal{L}^I = \sum_t D_{\text{KL}}(p_{t,:} \parallel \text{Softmax}(I_{t,:})) \\

该阶段仅训练 1000 步，消耗约 2.1B Tokens。

2.3.2 稀疏训练阶段

此阶段引入细粒度 Token 选择机制，并优化所有模型参数以适应 DSA 的稀疏模式。

• 配置：同时训练主模型和索引器。
• 索引器优化：输入从计算图中分离（detach），仅通过 $\mathcal{L}^I$\mathcal{L}^I 进行优化。此时仅考虑被选中的 Token 集合 $S_t = \{s \mid I_{t,s} \in \text{Top-k}(I_{t,:})\}$S_t = \{s \mid I_{t,s} \in \text{Top-k}(I_{t,:})\}：

$$\mathcal{L}^I = \sum_t D_{\text{KL}}(p_{t,S_t} \parallel \text{Softmax}(I_{t,S_t})) \\$$ \mathcal{L}^I = \sum_t D_{\text{KL}}(p_{t,S_t} \parallel \text{Softmax}(I_{t,S_t})) \\

• 主模型优化：仅根据语言建模损失（Language Modeling Loss）进行优化。
• 参数：每个查询 Token 选择 2048 个 KV Tokens。训练 15000 步，共计 943.7B Tokens。

3. 后训练

DeepSeek-V3.2 的后训练策略延续了 DeepSeek-V3.2-Exp 的路线，包含专家蒸馏（Specialist Distillation）和混合强化学习训练（Mixed RL Training）。该框架的一个显著特点是大幅增加了后训练阶段的计算预算，并针对大规模 RL 训练的稳定性进行了算法层面的改进。

3.1 Scaling GRPO

DeepSeek-V3.2 采用组相对策略优化（GRPO, Group Relative Policy Optimization）作为 RL 训练算法。GRPO 的基本目标函数如下：

$$\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}_{q \sim P(Q), \{o_i\}_{i=1}^G \sim \pi_{\text{old}}(\cdot|q)} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \min \left( r_{i,t}(\theta) \hat{A}_{i,t}, \text{clip}(r_{i,t}(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_{i,t} \right) - \beta D_{\text{KL}}(\pi_\theta(o_{i,t}) \parallel \pi_{\text{ref}}(o_{i,t})) \right] \\$$ \mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}_{q \sim P(Q), \{o_i\}_{i=1}^G \sim \pi_{\text{old}}(\cdot|q)} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \min \left( r_{i,t}(\theta) \hat{A}_{i,t}, \text{clip}(r_{i,t}(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_{i,t} \right) - \beta D_{\text{KL}}(\pi_\theta(o_{i,t}) \parallel \pi_{\text{ref}}(o_{i,t})) \right] \\

其中 $r_{i,t}(\theta)$r_{i,t}(\theta) 是重要性采样比率，$\hat{A}_{i,t}$\hat{A}_{i,t} 是优势函数。

为了支持大规模 RL 计算并保持训练稳定，论文提出了以下关键改进策略：

3.1.1 无偏 KL 估计

在计算当前策略 $\pi_\theta$\pi_\theta 和旧策略 $\pi_{\text{old}}$\pi_{\text{old}} 之间的 KL 散度时，传统的 K3 估计器（Schulman, 2020）存在偏差。当采样 Token 在当前策略下的概率远低于参考策略时（即 $\pi_\theta \ll \pi_{\text{ref}}$\pi_\theta \ll \pi_{\text{ref}}），K3 估计器的梯度会分配过大且无界的权重，导致梯度更新充满噪声，破坏训练动态。

DeepSeek 修正了 K3 估计器，利用重要性采样比率获得无偏 KL 估计：

$$D_{\text{KL}}(\pi_\theta(o_{i,t}) \parallel \pi_{\text{ref}}(o_{i,t})) = \frac{\pi_\theta(o_{i,t}|q, o_{i,< t})}{\pi_{\text{old}}(o_{i,t}|q, o_{i,< t})} \left( \log \frac{\pi_{\text{ref}}(o_{i,t}|q, o_{i,< t})}{\pi_\theta(o_{i,t}|q, o_{i,< t})} - 1 \right) \\$$ D_{\text{KL}}(\pi_\theta(o_{i,t}) \parallel \pi_{\text{ref}}(o_{i,t})) = \frac{\pi_\theta(o_{i,t}|q, o_{i,< t})}{\pi_{\text{old}}(o_{i,t}|q, o_{i,< t})} \left( \log \frac{\pi_{\text{ref}}(o_{i,t}|q, o_{i,< t})}{\pi_\theta(o_{i,t}|q, o_{i,< t})} - 1 \right) \\

这一调整消除了系统性估计误差，促进了收敛的稳定性。

3.1.2 Off-Policy 序列掩码

为了提高数据生成效率，通常会生成大批量的 Rollout 数据，然后切分为多个 Mini-batch 进行多次梯度更新。这引入了 Off-policy 行为。此外，推理框架和训练框架的实现细节差异也会加剧策略偏离。

为了解决此问题，引入了二进制掩码 $M_{i,t}$M_{i,t}，用于屏蔽那些引入显著策略偏离的负优势序列：

$$M_{i,t} = \begin{cases} 0 & \text{if } \hat{A}_{i,t} < 0 \text{ and } \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \log \frac{\pi_{\text{old}}(o_{i,t}|q, o_{i,< t})}{\pi_\theta(o_{i,t}|q, o_{i,< t})} > \delta \\ 1 & \text{otherwise} \end{cases} \\$$ M_{i,t} = \begin{cases} 0 & \text{if } \hat{A}_{i,t} < 0 \text{ and } \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \log \frac{\pi_{\text{old}}(o_{i,t}|q, o_{i,< t})}{\pi_\theta(o_{i,t}|q, o_{i,< t})} > \delta \\ 1 & \text{otherwise} \end{cases} \\

其中 $\delta$\delta 是控制策略偏离阈值的超参数。这意味着模型主要从自身的错误中学习，而屏蔽那些高度 Off-policy 的负样本，因为这些样本可能会误导优化过程。

3.1.3 路由一致性

对于混合专家（MoE）模型，推理和训练框架之间的微小差异可能导致同一输入在不同框架下激活不同的专家。这种不一致会导致参数子空间的剧烈偏移，破坏优化稳定性。

Keep Routing 策略要求在训练期间强制使用与推理采样时相同的专家路由路径，确保优化的参数与采样时使用的参数一致。

3.1.4 采样掩码一致性

在 RL 训练中通常使用 Top-p 或 Top-k 采样来保证生成质量。但这会导致 $\pi_{\text{old}}$\pi_{\text{old}} 和 $\pi_{\theta}$\pi_{\theta} 的动作空间不匹配（因为截断了低概率 Token），违反重要性采样的原则。

Keep Sampling Mask 策略在训练期间将 $\pi_{\text{old}}$\pi_{\text{old}} 采样时使用的截断掩码应用到 $\pi_{\theta}$\pi_{\theta} 上，确保两者的动作子空间一致。

3.2 专家模型蒸馏

DeepSeek-V3.2 首先针对特定领域（数学、编程、逻辑推理、Agent 任务等）训练专门的专家模型。每个专家模型都经过大规模 RL 计算。然后，利用这些专家模型生成领域特定的数据，用于蒸馏到最终的通用检查点中。实验表明，这种方法可以有效消除通用模型与领域专家之间的性能差距。

4. Agent

DeepSeek-V3.2 在 Agent 领域的改进主要集中在如何将强大的推理能力（Thinking）融入到工具调用（Tool-use）场景中，并通过大规模合成数据进行训练。

4.1 工具使用中的思维

DeepSeek-R1 证明了思维过程（Chain-of-Thought）能显著提升解题能力。DeepSeek-V3.2 旨在将这种能力扩展到 Agent 场景。

4.1.1 上下文管理策略

直接在多轮对话中保留所有的思维内容会导致 Token 消耗过大。DeepSeek-V3.2 采用了一种针对工具调用场景的上下文管理机制：

• 思维保留：如果后续消息仅与工具相关（例如工具输出），则保留思维内容。
• 思维丢弃：仅当新的用户消息引入时，才丢弃历史思维内容。
• 工具历史保留：无论思维内容是否被丢弃，工具调用的历史及其结果始终保留在上下文中。

4.1.2 冷启动

为了整合推理数据（非 Agent）和非推理 Agent 数据，DeepSeek-V3.2 采用了精心设计的 Prompt 工程进行冷启动。通过系统提示词（System Prompt），明确要求模型在给出最终答案或调用工具之前进行推理，并使用 <think></think> 标签包裹推理过程。

4.2 大规模 Agent 任务合成

为了增强模型的鲁棒性，DeepSeek-V3.2 构建了一个包含真实环境和合成环境的大规模 Agent 训练集。

4.2.1 Search Agent

采用基于 DeepSeek-V3.2 的多 Agent 流水线生成数据：

1. 实体采样：从大规模 Web 语料库中采样长尾实体。
2. 问题构建：Agent 利用搜索工具探索实体，整合信息生成问答对（QA Pair）。
3. 答案生成：多个不同配置的 Agent 生成候选回复。
4. 验证：验证 Agent 利用搜索能力进行多轮验证，仅保留 Ground-truth 正确且所有候选皆被验证为错误的样本。

4.2.2 Code Agent

基于 GitHub 的 Issue-PR 对构建大规模可执行环境：

1. 挖掘与过滤：利用启发式规则和 LLM 判断过滤出高质量的 Issue-PR 对。
2. 环境构建：自动化 Agent 处理依赖安装和测试执行。
3. 验证标准：通过应用 Gold Patch 后的测试通过情况（F2P > 0, P2F = 0）来确认环境构建成功。 最终构建了数万个涵盖 Python, Java, C++ 等多种语言的可复现环境。

4.2.3 General Agent

利用自动化环境合成 Agent 生成了 1827 个任务导向的环境。流程如下：

1. 数据准备：利用 Bash 和搜索工具获取数据存入沙盒数据库。
2. 工具合成：合成特定任务的工具函数。
3. 任务生成与验证：生成任务、解决方案函数和验证函数。解决方案仅能通过工具接口解题。验证函数用于校验解决方案的正确性。如果验证失败，Agent 会迭代修改方案或验证逻辑。

5. 实验结果与分析

DeepSeek-V3.2 在多个基准测试中进行了评估，涵盖英语、代码、数学、代码 Agent、搜索 Agent 和工具使用等领域。

5.1 主要结果分析

• 推理能力：DeepSeek-V3.2 在 MMLU-Pro (85.0%), GPQA Diamond (82.4%), MATH 等基准上表现强劲，与 GPT-5 (High) 相当，但在部分任务上略逊于 Gemini-3.0-Pro。
• 代码能力：在 LiveCodeBench 和 Codeforces 上表现优异，接近 Gemini-3.0-Pro。
• Agent 能力：在 SWE-bench Verified (73.1%) 和 BrowseComp (51.4/67.6*) 上，DeepSeek-V3.2 大幅缩小了与前沿闭源模型的差距。特别是对于搜索任务，上下文管理策略显著提升了性能。
• 成本效益：DeepSeek-V3.2 在实现与竞品相当性能的同时，得益于 DSA 和高效的后训练策略，具有更高的成本效益。

5.2 DeepSeek-V3.2-Speciale

这是一个放宽长度限制、专注于推理的高计算版本。

• 竞赛表现：在 IOI 2025 中获得金牌（第 10 名），在 ICPC WF 2025 中排名第 2。在 IMO 2025 和 CMO 2025 中均达到金牌水平。
• 性能对比：Speciale 版本在 AIME 2025 (96.0%) 和 HMMT 等数学基准上超越了 GPT-5 和 Gemini-3.0-Pro。

5.3 推理成本分析

得益于 DSA，DeepSeek-V3.2 在长上下文场景下的推理成本显著降低。虽然闪电索引器的引入带来了额外的 $O(L^2)$O(L^2) 计算，但其系数极小且可利用低精度计算，结合稀疏注意力 $O(Lk)$O(Lk) 的特性，总体上实现了端到端的加速。

6. 消融研究

6.1 合成 Agent 任务的有效性

研究通过消融实验探讨了两个问题：合成任务是否足够难？合成任务是否具备泛化性？

• 难度：DeepSeek-V3.2-Exp 在通用合成任务上的准确率仅为 12%，说明任务极具挑战性。
• 泛化性：仅在合成 Agent 任务上进行 RL 训练（非 Thinking 模式），模型在 Tau2Bench, MCP-Mark 等未见过的真实环境基准上取得了显著提升。这证明了大规模合成数据不仅能提升模型在特定任务上的表现，还能有效泛化到下游任务。

6.2 搜索 Agent 的上下文管理

针对长上下文（128K）在 Agent 任务中仍显不足的问题（特别是在冗长的搜索与推理过程中），论文提出了几种测试时（Test-time）的上下文管理策略：

1. Summary：总结溢出的轨迹并重启。
2. Discard-75% ：丢弃轨迹中前 75% 的工具调用历史。
3. Discard-all：丢弃所有之前的工具调用历史。

实验结果显示，Discard-all 策略在效率和可扩展性之间取得了最佳平衡，使 BrowseComp 的分数从 53.4 提升至 67.6。这表明简单的上下文丢弃策略在特定场景下非常有效，允许模型在有限的上下文窗口内进行更多的尝试。

7. 结论与局限性

DeepSeek-V3.2 成功地缩小了开源模型与最前沿闭源模型之间的差距。通过引入 DSA，解决了长上下文下的计算效率问题；通过扩展 RL 计算预算和改进算法稳定性，释放了模型的推理潜力；通过大规模 Agent 任务合成，增强了模型在复杂环境中的实用性。特别是 Speciale 版本在国际顶级竞赛中的金牌表现，标志着开源 LLM 的一个里程碑。

然而，论文也坦诚地指出了局限性：

1. 世界知识的广度：由于预训练 FLOPs 总量较少，DeepSeek-V3.2 在世界知识的覆盖面上仍落后于 Gemini-3.0-Pro 等顶级模型。未来的工作将通过扩大预训练规模来解决。
2. Token 效率：DeepSeek-V3.2 通常需要生成更长的轨迹（更多的 Token）才能达到与 Gemini-3.0-Pro 相当的输出质量。这增加了推理延迟和成本。未来的研究将致力于优化推理链的“智能密度”（Intelligence Density）。
3. 复杂任务的上限：在某些极端复杂的任务上，仍略逊于最强闭源模型。这激励团队进一步完善基础模型和后训练配方。

更多细节请阅读原技术报告。

往期文章：

• Qwen3-VL 技术报告深度解析
  
• Qwen 团队推出 SAPO，相较于 GRPO、GSPO 稳定且更优
  
• 主打自验证数学推理：DeepSeekMath-V2 技术报告解读
  
• Anthropic 新作：利用“接种提示”可以阻止 Reward Hacking 引发的非对齐泛化
  
• 弱师出高徒：COLM 2025 Delta Learning 揭示弱模型偏好数据如何驱动 SOTA 级后训练
  
• AllenAI OLMo 3 技术报告深度解析
  
• HuggingFace 高分论文：首个达到 IPhO 金牌水平的开源模型是如何炼成的？
  
• Meta 提出 SoCE 策略，仅靠模型权重融合实现 SOTA
  
• 陈丹琦团队新作 Retaining by Doing：揭示 RL 比 SFT 为什么更能缓解灾难性遗忘
  
• 微软提出 GAD：通过生成对抗蒸馏方法实现 On-Policy 蒸馏 GPT-5
  
• LightReasoner：利用小模型引导大模型推理的对比学习框架
  
• WeiBo AI 推出 1.5B 小模型，成本实现 SOTA 级推理
  
• Meta FAIR 推出 HERO：LLM 强化中集成稀疏与密集奖励
  
• 专挑模型的“软肋”下手：阿里 MIWV 如何实现用1%数据超越全量微调？
  
• Meta AI 推出 RIFL：基于准则的强化学习来提升 LLM 指令遵循能力
  
• NeurIPS 2025 满分论文：LLM 强化学习的上限已被基座锁死了
  
• EMNLP 2025 主会论文解读：Towards Automated Error Discovery
  
• Meta AI 最新研究：大模型强化学习的几何优化偏置
  
• Meta AI：Scaling Agent Learning via Experience Synthesis
  
• 西湖大学提出 SimKO ：一种简单的 Pass@K 策略优化方法
  
• Google Research 重磅研究：一种用于持续学习的新型机器学习范式 - Nested Learning
  
• 蚂蚁大模型 Ling 2.0 技术报告
  
• 腾讯 WeChat AI 提出 Continuous Autoregressive Language Models
  
• 清华 & 智谱推出 CROPI 框架：通过 Off-Policy Influence 来提升 RLVR 的数据效率
  
• NVIDIA 提出 CoDeC：通过 In-Context Learning 来区分模型“记忆”还是“泛化”
  
• Sea AI Lab 新研究：FP16 可以解决 RL 中的训推不一致
  
• 浙大 & 阿里提出 RAVR：当 LLM 被“剧透”答案后，它的推理能力会发生什么变化？
  
• 通义 DeepResearch 技术报告解读
  
• 字节 Seed 重磅新作：Scaling Latent Reasoning via Looped Language Models
  
• NeurIPS 2025 高分论文 DisCO：利用判别式约束优化增强推理 LLM
  
• On-Policy Distillation 解读
  
• Google DeepMind：从开源模型中提取 SFT 和 RL 训练数据
  
• 南大 NeurIPS 2025：关于 LLM 内部概率与自洽性的理论研究
  
• LoongRL：面向长上下文推理的强化学习
  
• RL Grokking：解决 pass@K=0 难题的新思路
  
• 重新思考 RLVR 中的基线设计：用分位数替代均值，让大模型强化学习更加稳定
  
• SFT 是通用能力的“杀手”还是“背锅侠”？亚马逊新作揭示其“灾难性遗忘”的真相
  
• 腾讯优图提出免训练GRPO，在上下文空间中实现策略优化
  
• 告别“炼丹”，拥抱“工程”：Meta AI 万字长文详解大模型强化学习的 Scaling Law
  
• Google DeepMind 为提示词优化提供理论保证，文末附优化实践启示
  
• Sanjeev Arora 团队新作 STAT：破解 SFT 饱和瓶颈，通过“技能驱动”让模型性能再提升7.5%
  
• Meta AI 提出 RECAP：真正的稳健推理源于纠正错误，而非模仿正确
  
• ExGRPO：超越在线策略，让大模型从“经验”中高效学习推理
  
• 苹果提出 RL4HS：用强化学习来进行幻觉范围检测
  
• NVIDIA 大规模实证研究揭示：推理数据前置到预训练阶段的必要性
  
• Meta AI 揭示 SFT 陷阱：盲目追求高分，可能会损害模型在 RL 阶段的潜力
  
• 腾讯混元提出 RLPT ：在预训练数据上进行 RL，进一步 scaling LLM 推理边界
  
• GRPO 就是 DPO ? 2-GRPO 媲美 16-GRPO，训练时间缩短 70%
  
• DeepSearch：将 MCTS 嵌入到 RLVR，解决信用分配难题