前两年我还有兴趣测一下高考题，今年我已经躺平了，一来很多自媒体会抢着做，二来我觉得当前大模型的能力已经远超出普通高三考生的水平，比起 2023 年有了质的突破。
但是吧，对这个话题感兴趣的建议自己测一遍，不要直接采信这篇文章的结论。我觉得这篇文章发出来，只能证明这篇文章翻车，而不是哪家模型的能力翻车。
我觉得这篇文章至少存在三处问题，仅供参考哈。我先声明一下，就事论事评论这篇文章，不针对该账号以及团队。
第一：把 DeepSeek 这个纯语言模型当作多模态模型来测评。
虽然有点得罪人，但很多人应该都能看出来，也不差我一个：当你选择「把图表交给 DeepSeek 解读并指责 DeepSeek 对图表视而不见蒙答案糊弄人」时，说明至少这篇文章的作者没有一丁点大模型的知识素养，也说明这家自媒体至少在这篇稿子上缺乏有效的专业审稿机制。
这样一篇文章还能广泛传播，得到数万阅读，实在让人大跌眼镜，有辱「中文 AI 自媒体三大顶会之一」的名号了。
但凡你在 DeepSeek 上上传图片时看一眼「仅识别文字」的说明，但凡你之前用 DeepSeek 提问过图片内容就知道，DeepSeek 网页版就是个纯语言模型，没有一丁点多模态能力，识别文字估计也是单独外接了 OCR 而不是模型自身能力。
你要说他不懂吧，他前面几道题也知道转成 LaTeX 再发给 DeepSeek；你要说他懂吧，又怎么能说出「DeepSeek 对眼前的图表视而不见」这种话的？？？
我不理解，我大受震撼。这样的低级错误出现在 AI 爱好者，出现在高中老师，出现在任何其他地方都可以接受。但偏偏出现在了一个「人工智能信息服务平台」，署名「关注大模型的」作者笔下。
第二：明知 o3 可能降智，依然采用了降智之后的答案。
这倒也算不上什么大问题，因为作者给所有模型都是只有一次机会，有截图为证 ChatGPT 网页版表现不佳。
但是吧，我相信任何一个读者希望看到的都是一个客观公正的答案，而不是一句轻飘飘的「o3 触发降智」，「表现令人难以置信」，然后再暗戳戳地引导到一个「o3 对中国高考题目水土不服，成绩惨败垫底」的结论甚至放在标题上进行传播。
正常作者都会选择测试不降智的模型吧？正常读者都希望看到不降智的成绩吧？这种春秋笔法真的公平吗？真的会对国产大模型有帮助甚至自豪吗？
明知网页版降智，找个更干净的 IP 和账号，或者用付费 API 做一下题目，很难吗？
第三：评测方式竟然是给每家模型的网页版发送题目截图？
作者甚至非常得意地给出了所有模型、所有题目的答题截图：
我当然不是说不能这么做，但是吧，你让我咋说呢…咱好歹是个正经懂技术的 AI 自媒体，不是个随便什么野鸡自媒体吧？
这里有两处问题。
第一，如果你测试的是模型的数学和推理能力，就不应该以发送截图的方式，因为如果是 OCR 导致的回答错误咋算？比如所谓的「o3 在第二道送分题」就翻车，不就是因为 o3 把 \complement_U A 识别成了 C \cup A 吗？
你当然可以说：哎呀，我就是测试模型的多模态能力，识别错了当然也是模型错误的一部分呀。
那请问，你为什么要给 DeepSeek 单独发 LaTeX 公式呢？
而且咋说呢…咱好歹也是头部科技大号了，评测模型竟然如此工匠精神，原始手作，也是有点太过于不忘初心了。
最后提几条建议吧：
1、把所有不需要识图的题目转写成 LaTeX，使用 LaTeX 公式进行文字提问。对这些题目统一进行评判比较。
2、如有条件，vibe coding 编写一个测评脚本，批量自动化请求 API，自动比对正确答案，自动计分，省去工作人员手动复制粘贴截图的精力。
3、针对需要识图的题目，单独比较具有识图能力的多模态模型准确率。
再次重申，并非刻意针对，只是为了提一些提升创作规范、科学、严谨程度的小小建议。
