AI导读:

DeepSeek最新开源的DeepSeek-OCR-2采用视觉因果流范式解决多模态大模型问题。通过引入因果流查询和摒弃位置编码,实现性能显著提升。实验数据显示,该模型在保持高压缩率的同时,能有效解决复杂表格和非线性文本的问题。

据悉,DeepSeek最新开源的DeepSeek-OCR-2,通过架构适配DeepEncoder V2,摒弃了经典的CLIP视觉分支,采用LLM作为视觉编码器,并提出视觉因果流(Visual Causal Flow)范式,以解决多模态大模型在面对复杂表格或非线性文本时,往往会出现的语义与序列错配问题。具体来看,传统的视觉语言模型(VLM)存在固有的归纳偏置:光栅扫描,并施加固定的绝对位置编码(从左到右,从上到下)。这与人类“基于语义逻辑跳跃扫描”的视觉认知机制背道而驰——人类在阅读文档时,目光是随着逻辑流动,遇到表格会按列或按行扫视,遇到分栏会自动跳跃。DeepSeek-OCR-2并未依赖位置编码来规定视觉token的语义顺序,而是引入因果流查询(causal queries),通过内容感知方式对视觉标记进行重排序与蒸馏。这种顺序不是由空间展开规则决定,而是由模型在观察全局视觉上下文后逐步生成,从而避免了对固定一维顺序的强依赖。实验数据显示,DeepSeek-OCR-2在保持极高压缩率的同时,性能显著提升。