8个回答

DeepSeek团队发布视觉压缩OCR模型,哪些信息和技术亮点值得关注?

rubberball 皮球
37个点赞 👍

有“华点”的研究,重塑了对信息量的理解。

① 它的核心原理是: 视觉Token文本Token的信息差。

DeepSeek OCR的文章提到的10倍(高精度),就是1个视觉token约承载10个文本tokens的语义特征。

③ 图像进入DeepEncoder后,先由SAM-base提取局部细节(如字符形状),生成大量初始视觉token(例如1024×1024图产生4096个)→接着通过一个卷积压缩模块,将token数量骤减至256个→再送入CLIP-large进行全局理解→用提示词激活任务路径→MoE负责解码,并按特定格式输出。

④ 微小/小/基础/大/高达 五个保真模式,通常就是对应图片文本密度。 在极致的token压缩后,一个经过充分训练的模型依然可以提取有意义的信息。脑补能力强是模型的天性吧。

可以输出纯文本、带坐标的布局、HTML表格或SMILES化学…

文章结尾出现了一个“华点” 这部分是DeepSeek的原创思路。

DeepSeek 提到把 上下文渲染成图片!

按照 时间序列排序,越近的上下文用越高精度存储比如“高达模式”,此时视觉tokens占位大,但保真度也高,越远的上下文用越低的精度,比如“微小模式”,记忆像视觉一样逐渐模糊。而不是像文本tokens忘了就忘了。

所以你应该叫它DeepSeek-VisionMemory-OCR

——————————

上面的压缩部分,并非DS首创思路,类似的研究—— TikTok: An Image is Worth 32 Tokens for Reconstruction and Generation 一张图像仅需32个tokens即可实现重建与生成

DeepSeek首创的是用于OCR,进行文本到图片,图片到文本的转化,重塑了对信息量的理解,

形成了 文本 → 图 → vision tokens → 文本的 循环链路,出现了新范式的可能性。

还没有人送礼物,鼓励一下作者吧
Trisimo崔思莫
自由评论 (0)
分享
Copyright © 2022 GreatFire.org