如何理解 DeepSeek 最新提出的 mHC 架构？

DeepSeek 团队一定有不让 AI 人过好节假日的恶趣味。前有 DeepSeek V2、V3 在假期突袭，现在这篇 mHC (Manifold-Constrained Hyper-Connections) 论文又是卡在 2025 年底发出来，摆明了是让大家在元旦假期里还得被迫学习新架构。

不过玩笑归玩笑，这篇论文确实展现了 DeepSeek 团队一贯的“死磕底层数学，换取极致工程效率”的暴力美学。

现在呢，在相同的 FLOPs（计算量）和参数量下，mHC 模型的 Loss（损失函数）显著低于标准 Transformer。这意味着它的“智商”更高。一个采用了 mHC 的较小模型，往往能达到比它参数量更大的标准 Transformer 的效果。这相当于变相压缩了模型体积。

小==过去的大

mHC 到底是个什么东西？

简单的理解，传统的 Transformer 残差连接（Residual Connection）就像是一条单车道的高速公路。随着模型越来越大，这条单车道不仅拥堵，承载信息的能力也到了瓶颈。

之前的研究（比如 ByteDance 的 Hyper-Connections）试图把它改成“多车道并行”，让信息在不同的车道（流/Streams）之间随便变道、混合。想法很好，但实际上很容易“翻车”——也就是数值不稳定，梯度爆炸，模型根本练不收敛。

DeepSeek 做的 mHC（流形约束超连接），核心就干了一件事：给多车道加了极其严格的“交通规则”。

• 规则的核心：他们强行要求流与流之间混合的矩阵必须是双随机矩阵（Doubly Stochastic，行和列之和都为 1）。
• 手段：为了达到这个要求，他们在训练时用 Sinkhorn-Knopp 算法把参数强行“压”在这个数学流形上。

这么做的好处是，无论你的模型堆多深，信号经过无数次混合后，能量既不会爆炸也不会消失。它既保留了多流并行带来的巨大信息容量，又像标准残差一样稳定。

推理时的计算：这一手“偷天换日”很漂亮

这部分是整个设计的精髓。

如果你只看训练部分，会觉得这东西极其复杂：又要维护参数，又要迭代归一化，计算量感觉很大。但 DeepSeek 玩了一个极其聪明的“时间差”：

所有的复杂计算，全都留在训练阶段。

到了推理（Inference）阶段：

1. 那个原本需要迭代计算的混合矩阵，直接变成了一个固定的常数矩阵 H。
2. 实际计算流：把输入切分成几份（Split） -> 乘上这个固定的 8x8或 16x16 小矩阵（Mix） -> 加上原本的 Attention 输出（Add）。

结论：在推理时，mHC 几乎是零开销的。它用训练时的数学复杂度，白嫖了推理时的模型容量提升。对于部署来说，这就是纯纯的红利。

对编译器和芯片的影响

这玩意儿对硬件极其友好，甚至可以说是为了规避硬件瓶颈设计的。

• 对编译器：关键在于算子融合（Kernel Fusion）。mHC 的矩阵乘法规模很小（MxM），如果单独跑 Kernel 会亏死在显存读取上。但现在的编译器（Triton, XLA 等）很容易把这个小 MatMul 和前后的操作融合成一个 Kernel。只要融合做得好，它对带宽的占用几乎可以忽略不计。
• 对芯片：它没有引入任何稀疏计算（Sparse）或者复杂的路由（Routing），本质上还是 Dense MatMul。这是 GPU/TPU 最擅长的东西，不需要专门为了它去改芯片架构。还有哦，H矩阵的有界性（0~1）是量化算法最喜欢的分布。
• 意义：它打破了“想变强就得把模型做宽”的魔咒。现在可以在不增加模型宽度（不撑爆 SRAM）的情况下，通过增加“流”的数量来提升性能。这对边缘端芯片或者显存吃紧的场景非常重要。

DeepSeek 团队是量化出身对这事有没有影响？

虽然不一定全员搞量化，但这个团队绝对有一群极致的“系统-算法协同设计”专家。或者说，他们是一群对显存带宽和算力利用率极其抠门的人。

你看他们的一系列操作：

• MLA：为了省 KV Cache 显存，搞低秩压缩。
• FP8：为了压榨算力，全链路低精度。
• mHC：为了在不增加带宽的前提下提升容量，搞流形约束。

这显然不是那种只管调参、不管上线死活的“炼丹师”思路。他们的每一个设计，都是盯着 GPU 的硬件瓶颈（通常是 Memory Wall）去的。

他们不仅仅是在做算法，更像是在做软硬一体的极致压缩。mHC 就是这种哲学的产物：用 GPU 过剩的 Tensor Core 算力（做矩阵混合），去换取最宝贵的显存带宽和模型表达能力。

这种把数学理论转化成工程红利的能力，确实是目前业内的顶流水平。