又一个值得商业使用的国产模型！
在GPT-5-mini和Grok-4-fast-reasoning之后，很久以来国产模型都没有能够被真正使用到的场景，Deepseek-v3.2-1201终于再次突破。
和之前几次测评一样，仍然是真实工作的需求场景，要求是这样的：
我手边有上万份试卷，已经全部OCR完毕，每一份试卷的OCR结果是这样的：
我需要把每一道题从OCR结果中抽取出来，比如：
第二题应该是上图的第一到第三行，从"2. （4分）"开始，到"(\circ)) $"结束。
第三题是上图的第五行到第十三行。从"3. （4分）"开始，到第十三行的"图像下降"结束。
我需要大模型将每一份试卷每一道题的题目和解析分别完整、不缺漏地分割输出。
也就是说，输入一整份试卷的ocr结果，期望输出的是每一道题的题干和解析的开头和结尾。
这是一个非常重的任务，和我们以前的任务测试都不太一样，有几个难点：
1，输入token很多，一次输入一整份试卷，大概2-3万token。
2，需要进行大量推理，分清楚每一道题的开头和结尾，因为试卷格式差异极大，这个工作不可能用正则表达式完成，在试卷识别的时候，也要分清楚大题、小题、相互之间关联的题目、非独立的题目等等，因此本身就包含了一定的“做数学题”的要求在里面。
3，很多图片作为占位符存在，有时候一些图片会跨行，但是大模型并不能看到图片（为了省钱），所以大模型要根据每一道题的“见图““如图”的说法，识别每一张图的占位符，推测每一行的图是哪道题的，把这一行补回来。
我使用六个模型各对10份试卷进行了输出，包括：GPT-5、GPT-5-mini、Deepseek-v3.2、Deepseek-v3.2-Speciale、Gemini-3.0-pro、Grok-4-1-fast-reasoning。
几项结果如下：
上图给出了不同模型的每个模型的用时。速度最快的是grok-4-1-fast-reasoning，每张试卷只需要30秒不到。最慢的是deepseek-speciale，一份试卷需要761秒才能完成。deepseek需要339秒，比speciale节省一半多的时间。另外的gpt-5-mini、gemini-3.0-pro、gpt-5完成速度都在80-100秒左右。但需要注意的是，gpt-5-mini和grok-4-1-fast的“平均每次耗时”和“平均每卷耗时”不一样，这是因为这两个模型由于首次失败，均对一份试卷进行了不止一次尝试。
上图给出了这六个模型的输出token对比。grok-4-1-fast的输出也是最少的，3千多token就完成了任务；其次是gpt-5-mini，需要6千多token。gpt-5也是6千多。gemini-3.0-pro要9千多token。deepseek-v3.2需要一万多token，而speciale则迅速跃升至4万token。
上图给出了输出token中百分之多少是思考，speciale的输出只有2.3%是用来回答问题的，另外97.7%都是在思考……
上图给出了每一份试卷的成本估算，用美元计价。
可以看到，价格最低的是grok-4-1-fast，每份试卷只需要6厘美元，我跑1万份试卷只要60块美元，四舍五入不要钱了都。接下来是deepseek，虽然单价便宜，但由于输出token偏多，每张试卷要1分美元，价格大概是grok的1.6倍；然后是gpt-5-mini，1分8厘美元；deepseek-speciale要2分3厘美元，差不多要grok-4-1-fast的四倍。这四个模型相对来说价格比较低，接下来轮到两个最大的模型，gpt-5和gemini，分别每张试卷需要0.091美元和0.156美元，达到了grok-4-1-fast的15倍和26倍。
从这张图来看，无论是成本还是速度，最有竞争力的都必然是grok-4-1和gpt-5-mini。如果不在意速度但特别在意成本，那么deepseek会是首选。它的耗时是grok-4-1的10倍，但是价格也比较低。
到这里就结束了吗？没有。这不是一个很容易的任务，只看速度和成本，一定是行不通的，我们需要手动检查生成的质量。我把所有的输出合并在一起，用肉眼一条条进行检查，果然发现了极多错误。
五个模型正确，grok错误——题干多了一行，解析也多了一行，把下一题的开头拿进来了。
前四个模型正确，gpt-5-mini漏了最后的“故选：A”和“点评”，grok又多拿进来一行，把下一题的题干放进来了，而且解析一开头的题目少抄一行题干。
这题错的比较多，speciale和gpt-5全对，deepseek多拿进来一行（最后的“三、解答题”）；gemini和deepseek的题干少抄一行，到“直线y=m （0”这里被截断了；gpt-5-mini少抄一行最后的“点评”。
deepseek、gemini、gpt-5和gpt-5-mini正确，speciale多抄了一行下一题题干，grok的题干和解析都多抄一行。
这样我肉眼看了几百道题以后，第一印象是：
在这个任务中，deepseek的质量，要远好于grok和gpt-5-mini，基本和gemini-3.0-pro的错误率是一致。虽然grok-4-1-fast和gpt-5-mini速度远快于deepseek，但他们的出错概率较高，相比deepseek，是基本不可用的。
第二印象是，在这个任务中，虽然speciale模型花费了十倍以上的时间和高于gpt-5-mini的成本，但是其效果并没有deepseek本身好。而gemini-3.0-pro作为最贵的模型，虽然正确率也很高，但是也会有错误。
第三印象是，肉眼看了几百道题，GPT-5连一个错误都没有，全部正确。
因此，在上图中，我以gpt-5为准确率基准，画出了每一个模型的覆盖率（应该覆盖的行是不是漏掉了）以及冗余率（不应该覆盖的行是不是放进去了）。可以看到，除了作为基准的gpt-5，gemini和deepseek的正确率非常接近，deepseek虽然冗余率略高（主要是多拿进来几行），这两个模型都是完全可用的。而且可以看到deepseek的漏损率（千分之9）要比gemini要更低（千分之15），在这个任务里面，漏损率比起冗余率更值得关注，题目多了一行大家都能理解，题目少了一行大家就看不懂了啊！因此，如果就结果而言，deepseek的成果可用性是要比gemini更好的。
在deepseek和gemini之后，是deepseek-speciale，更慢，更贵，但是错误率也更高，说明这的确是一个做数学题特化模型，在这样和数学有一定相关性的任务的上，表现也不尽如人意。gpt-5-mini的漏损率极高，完全不可能用。grok-4-1-fast-reasoning和deepseek的覆盖率完全一致，但倾向于把更多的行放进来，因此在感官上会比较混乱。
于是，就到了最终决定的阶段。首先排除不可用的gpt-5-mini，超级贵的gemini，超级慢但效果也没有到最好的speciale，我们需要在gpt-5、grok-4-1-fast、deepseek中间选一个。
最后，考虑到这几点：
1，gpt-5价格确实要高出太多，它的正确率相对deepseek的提升，不值得9倍成本；
2，grok-4-1-fast冗余率太高了（可以看到例子里面grok总是倾向于多放几行进来），需要额外的模型做进一步处理，把不同题目的重复行去掉，这会增加项目复杂度。
3，deepseek虽然慢十倍，但可以用并行来提速，而且这个任务本身量不大，grok跑半天能完成，deepseek跑三天也能完成，时间上可以接受。另外有些任务，grok要跑3天，deepseek要跑一个月，这就不得不考虑速度了，但这个任务上我们可以放宽一些对速度的要求。
于是，这个任务最终决定交给deepseek来完成！很高兴再次能为deepseek充值！在测试之前，本来非常担心deepseek只有128k的小窗口会不会无法支撑2-3万token的输入和计算，但结果证明它的表现非常好。
同时也要鄙视一下gemini-3.0-pro，早知道它这次升级的上下文不行，真没想到区区两三万token就能开始出错，真的只能做一个视觉模型了。