这个工作不是在单纯提高 OCR 的准确率，而是在尝试解决一个更大的问题——大模型的上下文瓶颈。

它不是单纯在“识字”，而是在试图用视觉的方式去压缩长文本上下文，因为它碰到的其实是所有大模型都头疼的问题：上下文太长，token 不够用。

传统的 OCR 是“图像 → 文本”，把图片里的字识出来然后输出成字符序列。但 DeepSeek 这次反着玩：它把文字重新“画成图”，再用视觉模型去理解这张图，然后再从视觉特征里还原出文字。换句话说，它不是靠语言 token 去表示文本信息，而是用视觉 token——也就是图片的二维编码去装下这些内容。

这样做的好处在于，图像的二维结构比一串字符能装下的信息密度更高。比如一本书的两页内容，用文字得上几千个 token，用视觉形式可能几百个 token 就够了。这就是论文标题里那句“Contexts Optical Compression”的意思

模型架构也由两个部分组成：

一个是 DeepEncoder，负责把输入的图像压成很紧凑的视觉 token；

另一个是 DeepSeek-3B-MoE，是个 30 亿参数的 Mixture-of-Experts 模型，用来从这些压缩后的视觉 token 里“解读”出文字。

这里的 MoE 不太常见在 OCR 里出现，它更常见于语言模型。DeepSeek 把它搬进 OCR，目的是在不同文档类型之间自动选择最合适的专家，从而兼顾表格、段落、手写体等多种结构。

官方的实验数据挺猛的：在 10 倍压缩的情况下识别精度还能保持 97%，20 倍压缩也有 60% 左右。也就是说如果普通 OCR 需要 10,000 个 token 才能读完整篇文档，这个模型可能只用 1,000 个就能搞定。对于大模型处理长文档那种场景，这个差距太关键了——token 成本是直接的钱。

论文里还提到一个基准叫 OmniDocBench，这是专门测试复杂文档（混排、表格、公式、图文混合）理解能力的。DeepSeek-OCR 在这个基准上，用更少的视觉 token 数量就超过了 GOT-OCR 2.0 和 MinerU 2.0，这俩都是目前比较强的开源 OCR 模型。甚至还有个有趣的配置叫“Gundam 模式”，动态组合分辨率，让 token 数控制在 800 以内。

也就是说：它不只是识字，还能理解文档布局，能还原 Markdown、表格结构、甚至图表。某种程度上，它已经不是 OCR，而更接近“文档理解引擎”。

DeepSeek 团队在论文里提到，他们想验证“视觉模态是否能成为长上下文压缩的一种方式”。我个人理解这其实在探索大模型的“记忆机制”：当上下文太长时，是否可以把旧内容转成一种更紧凑的视觉记忆？比如把一段对话压成图片形式，让模型在需要时再“回忆”它。这个设想和人脑记忆挺像——不是逐字记，而是以画面或印象形式存储。

最后，虽然视觉 token 数少了，但模型的计算复杂度其实不一定更低。DeepEncoder 的视觉处理部分 + MoE 的专家调度，推理开销可能并不小。就算 Hugging Face 的版本标注在 A100 40G 上能跑 2500 tokens/s，那也算中等偏上速度，谈不上轻量级。

总的来说，它用视觉方式重构信息密度，让文档理解变得更紧凑。这背后其实隐含着一种“跨模态思维”：也许未来长上下文不一定要靠文本扩容，可能靠视觉压缩、语义记忆，甚至听觉 embedding 来实现。它证明了一个方向：视觉模态不仅能“看”，也能“记”，甚至能成为一种新的压缩语言。

如果真能沿着这条路走下去，说不定下一代的“长上下文大模型”，背后记忆的，不再是文字串，而是一张张“思维截图”。DeepSeek总能带来一些惊喜，等我回头再仔细看下这篇文章，好好研究一下。

这次是OCR模型，整个模型大小在3B。

DeepSeek-OCR的提出，是为了探索，是否可以通过视觉模态进行文本信息的高效压缩，

也就是把文档内容，用图像Token表示，其Token数量会远小于原始文本Tokens数，

说白了，你1w字，可能需要5000个Token，但用图像来表示，可能只需要512 个 Token。

实话实说，直接升华了，

我之前研究VLM做OCR，就是解决PDF转成文本的问题，没想到DeepSeek，是在想用图像视觉压缩文本。

秀~

先说结论，

• 这次DeepSeek提出了一个新的视觉编码结构DeepEncoder，
• 同时做了一个关于视觉-文本token压缩比的全面定量分析，
• DeepSeek-OCR的整体也很不错，在OmniDocBench上，使用更少的视觉token达到最好的效果。

模型地址，HF：https://huggingface.co/deepseek-ai/DeepSeek-OCR

DeepSeek-OCR模型也是三件套，图像编码器、映射层和文本解码器组成，其中图像编码器时特色，为DeepEncoder，参数为380M，文本解码器是一个deepseekv2-3b的模型-，参数为3B，2个共享专家，64个激活专家，每次激活6个专家，激活参数为570M。

现有VLM的视觉部分，主要是三种，双塔架构，tile-based方法，自适应分辨率编码方法，如下，存在多次预处理、高分辨率时Token数量过多等问题。

提出DeepEncoder，为了可以能够处理高分辨率图像、在高分辨率下激活值低、输出视觉Token少、支持多分辨率输入。结构如下，参数量为380M，主要由一个80M的SAM-base模型和一个300M的CLIP-large模型串联构成。

其中，SAM-base模型以窗口注意力感知局部特征，CLIP-large模型以密集全局注意力提取全局语义信息。

模型之间，采用一个两层卷积模块对视觉token进行16倍下采样，每个卷积层的kernel size为3，stride为2，padding为1，通道数从256增加到1024。

举例，输入图像大小为1024×1024，DeepEncoder首先划分为1024/16 × 1024/16 = 4096个patch token，在对4096个token进行压缩，数量变为4096/16 = 256。

DeepEncoder支持多分辨率，有两种，原生分辨率和动态分辨率。

原始分辨率，包括Tiny-512×512（64 token）、Small-640×640（100 token）、Base-1024×1024（256 token）、Large-1280×1280（400 token）四种。

Tiny和Small模式是直接对图像进行resize处理，Base和Large模式是保持原始图像的宽高比利用padding方式处理。

动态分辨率包括Gundam-640×640+1024×1024（n x 100 + 256）、Gundam-M-1024×1024+1280×1280（n x 256 + 400）两种，是由n个局部视图+一个全局视图，其中局部的tile数在2到9之间。对于宽高都小于640的图像，n设为0，Gundam退化成Base，Gundam-M退化成Large。

整体训练数据由4部分组成，

OCR1.0数据（43M张图片-文本），由传统OCR任务组成，如图像OCR和文档OCR；

OCR2.0数据（16M张图片-文本），包含复杂的图像解析任务，如图表、化学公式、平面几何等；

通用视觉数据（占比20%），用于注入通用图像理解能力；

纯文本数据（占比10%），用于确保模型的语言能力。

模型训练采用两阶段训练，先训练DeepEncoder部分，再全部参数联合训练。

训练DeepEncoder阶段，采用OCR1.0和OCR2.0数据，以及从LAION数据集中采样的100M通用数据，训练 2 个 epoch，BS为1280，优化器为AdamW，学习率调度器为cosine annealing ，初始学习率为 5e-5，最大长度为 4096。

全部参数训练阶段，采用20个A100-40G*8的节点进行PP训练，BS为 640，优化器为 AdamW，初始学习率为3e-5。

最后，

还没测，后面看看跟新出的PaddleOCR-VL 0.9B哪个更强。

① 它的核心原理是: 视觉Token与文本Token的信息差。

② DeepSeek OCR的文章提到的10倍（高精度），就是1个视觉token约承载10个文本tokens的语义特征。

③ 图像进入DeepEncoder后，先由SAM-base提取局部细节（如字符形状），生成大量初始视觉token（例如1024×1024图产生4096个）→接着通过一个卷积压缩模块，将token数量骤减至256个→再送入CLIP-large进行全局理解→用提示词激活任务路径→MoE负责解码，并按特定格式输出。

④ 微小/小/基础/大/高达 五个保真模式，通常就是对应图片文本密度。 在极致的token压缩后，一个经过充分训练的模型依然可以提取有意义的信息。脑补能力强是模型的天性吧。

可以输出纯文本、带坐标的布局、HTML表格或SMILES化学…

④ 文章结尾出现了一个“华点” 这部分是DeepSeek的原创思路。

DeepSeek 提到把 上下文渲染成图片！

按照 时间序列排序，越近的上下文用越高精度存储比如“高达模式”，此时视觉tokens占位大，但保真度也高，越远的上下文用越低的精度，比如“微小模式”，记忆像视觉一样逐渐模糊。而不是像文本tokens忘了就忘了。

所以你应该叫它DeepSeek-VisionMemory-OCR

——————————

上面的压缩部分，并非DS首创思路，类似的研究—— TikTok: An Image is Worth 32 Tokens for Reconstruction and Generation 一张图像仅需32个tokens即可实现重建与生成

DeepSeek首创的是用于OCR，进行文本到图片，图片到文本的转化，重塑了对信息量的理解，

形成了 文本 → 图 → vision tokens → 文本的 循环链路，出现了新范式的可能性。

飞桨基本实现了用户所有需求，再往后就不该是ocr模型的业务了

AI其实搞了这么多年，对用户反馈最大的也就是这个ocr，用户能够忍受llm胡说八道，但不能忍受ocr识别失败