有“华点”的研究,重塑了对信息量的理解。
① 它的核心原理是: 视觉Token与文本Token的信息差。
② DeepSeek OCR的文章提到的10倍(高精度),就是1个视觉token约承载10个文本tokens的语义特征。
③ 图像进入DeepEncoder后,先由SAM-base提取局部细节(如字符形状),生成大量初始视觉token(例如1024×1024图产生4096个)→接着通过一个卷积压缩模块,将token数量骤减至256个→再送入CLIP-large进行全局理解→用提示词激活任务路径→MoE负责解码,并按特定格式输出。
④ 微小/小/基础/大/高达 五个保真模式,通常就是对应图片文本密度。 在极致的token压缩后,一个经过充分训练的模型依然可以提取有意义的信息。脑补能力强是模型的天性吧。
可以输出纯文本、带坐标的布局、HTML表格或SMILES化学…
④ 文章结尾出现了一个“华点” 这部分是DeepSeek的原创思路。
DeepSeek 提到把 上下文渲染成图片!
按照 时间序列排序,越近的上下文用越高精度存储比如“高达模式”,此时视觉tokens占位大,但保真度也高,越远的上下文用越低的精度,比如“微小模式”,记忆像视觉一样逐渐模糊。而不是像文本tokens忘了就忘了。
所以你应该叫它DeepSeek-VisionMemory-OCR
——————————
上面的压缩部分,并非DS首创思路,类似的研究—— TikTok: An Image is Worth 32 Tokens for Reconstruction and Generation 一张图像仅需32个tokens即可实现重建与生成
DeepSeek首创的是用于OCR,进行文本到图片,图片到文本的转化,重塑了对信息量的理解,
形成了 文本 → 图 → vision tokens → 文本的 循环链路,出现了新范式的可能性。