DeepSeek的mHC流形约束超连接，占有三到四成贡献，大大提升了大模型上的可用性，补齐了稳定性和经济性。

大概可以理解为：字节豆包搞出来一个核聚变方案，DeepSeek给他套了一个托卡马克环。（mHC这个词看起来就像核工业里面的名词。笑）

字节的HC，是一种高爆美学，初衷为了解决预/后层归一化问题（这是残差连接的一个顽疾，在炸膛和钝化中做选择）。

残差连接（无论是 Pre-Norm 还是 Post-Norm）都有一个共同的局限：它们预先定义了层输入与输出之间的连接强度，而不是让神经网络自主学习最优的连接比例。

字节提出了全新的“物种”，在所有人都还在传统的 Residual Connection里打转时，字节跳动第一个跳出来说：要搞加法？为什么不能是矩阵乘法？

这是HC的一个爽点。

​证明了“可行性”，字节不仅提出了想法，还在 1B 和 7B 这种中小规模的模型上跑通了，证明了这种疯狂的架构不仅能跑，而且收敛速度还能快 1.8 倍。

但由于缺乏约束，它会“开锅炸膛”，最大的坑是显存带宽，HC连接矩阵自由生长，导致信号在多层堆叠后出现“指数级爆炸”。

​字节虽然在 7B 模型上跑通了，但 DeepSeek 在跑 27B 甚至更大模型时发现，原始的 HC 跑到 1.2万 步左右就会“开锅”（Loss 突然飞升，梯度乱跳）。

这车好是好车，就是开久了会掉坑里，还会滋滋冒烟。（在27B模型下， 原始 HC 由于缺乏约束，其复合映射的增益强度峰值达到了3000）

​DeepSeek 指出 HC 的核心问题是破坏了“残差连接的恒等映射”，于是引入 Sinkhorn 投影算法把矩阵框死在“双随机流形”里，这就是m流形，这个词的来源。

HC 虽然参数少，但特别吃显存带宽。DeepSeek 为了能让这个技术在超大模型上用得起，搞了 Kernel Fusion 和 DualPipe。

从残差连接（加法）→字节HC（无约束的矩阵乘法）→DeepSeek mHC （流形约束的矩阵乘法）

这是一个经典→跳跃→优化的一个历史流变。

2026年元旦，DeepSeek团队放出了2026年第一炸，发布了梁文锋署名的文章《mHC: Manifold-Constrained Hyper-Connections》。这篇文章会成为经典ResNet结构残差连接机制的颠覆者吗？

为了理解mHC是什么，我们首先回顾下ResNet和它的恒等映射。
2015年之前，训练超过20层的神经网络是一件极其困难的事。因为随着层数增加，梯度在反向传播中逐渐消失，导致模型无法收敛。ResNet（残差网络）的出现打破了这一魔咒。它的核心在于引入了一个极其简单的结构——Shortcut Connection（捷径连接），其公式如下：y = F(x) + x。这里的x就是所谓的恒等映射。为什么它如此重要？
想象一下100个人排队玩传话游戏（类似于神经网络的 100 层）。普通网络（没有恒等映射），前一个人把话传给后面一个，每个人都会对这句话进行一点点加工或理解（卷积/激活函数）。结果传到第 100 个人时，信息早就面目全非了（梯度消失/信息丢失），根本不知道最初说的是什么。恒等映射（ResNet的做法），每个人在传话的同时，还拿了一张纸条，上面写着上一个人传来的原话，直接递给下一个人。这样即使中间有人乱改，只要有这张纸条，第100个人依然能清楚地知道最原始的信息是什么。
大名鼎鼎的 Transformer 正是继承了 ResNet 的残差连接机制，才得以将模型堆叠至千亿参数而不坍塌。从这个意义上说，ResNet 是所有现代大模型的隐形基石。
但ResNet也有它的局限，虽然稳，但它太死板了。x的系数被固定为1.0，这意味着残差流在层与层之间的传递方式是单一且静态的。
打个比方，ResNet引入了一条笔直的引水渠。它的设计哲学极其朴素且实用，水流（信号）会顺着这条渠道，毫无阻碍地从源头直接流淌到终点，确保了下游始终有清洁的水可用（清洁代表信号的高度保真）。这正是 ResNet 能够支撑起百层网络而不发生梯度消失的奥秘所在。但它传输的源头纯净水无法在传输过程中灵活地融合沿途的矿物质（复杂的特征组合），这使得模型在处理极其复杂的任务时，显得有些单调和死板。

研究人员开始思考，能不能把那条渠变宽、变灵活，让水流在途中能够融合更多养分？于是，超连接 (HC) 应运而生。
HC不再满足于单一的x传递，而是构建了多条并行的残差流，并允许它们之间进行动态混合。其核心公式演变为：y = F(x) + Wx。这里的W是一个根据输入动态变化的权重矩阵。优点是网络容量大增，但它有个致命的问题，事实上破坏了ResNet的恒等映射性质。由于W是动态乱变的，信号经过多次矩阵乘法后，数值容易再次失控。
再打个比方，HC就像是贸然挖开了水库的堤坝，让水流涌入了一片缺乏约束的湿地河网。这片区域的水流可以随意分叉、汇合，极大地增加了水道的灵活性和覆盖面（特征表达能力）。但由于缺乏渠道坝的约束，水道的宽窄深浅完全随着每一波水流的冲击而剧烈变化。结果往往是灾难性的：有时支流汇聚引发洪水（梯度爆炸），冲毁下游；有时河床变宽导致流速停滞，变成死水（梯度消失）。这种极度的不稳定，导致模型训练经常因此崩溃。

mHC(流形约束超连接)就是既要HC的水网灵活性，又要ResNet的稳定性（恒等映射）。具体来说是给动态权重矩阵W加上约束，将其严格限制在一个特定的数学流形（Manifold）上。即强制要求W必须满足特定的几何性质（例如正交性或保持范数不变）。这确保了无论W如何动态变化，它对信号的变换始终是良性的。
继续打比方，mHC是对HC原来这片湿地河网进行了一次现代化的水利工程改造。工程师们保留了多条并行渠道以维持灵活性，但引入了坚固的混凝土渠道坝和智能流速控制阀——这便是所谓的流形约束。这套新系统首先保证了无论水流如何在不同渠道间切换，总水量既不会暴增也不会骤减；其次是单向导流，严禁水流回旋或倒灌。通过这种方式，mHC 成功驯服了狂野的水流。确保了流量充沛、流速可控且路径灵活。这不仅让大模型拥有了更强的特征捕捉能力，也找回了ResNet般的训练稳定性。

DeepSeek已经在27B模型中验证了mHC架构在大规模预训练中的有效性。mHC的核心意义在于，在深度学习领域长期存在的灵活性与稳定性的零和博弈中探寻了一条新的路径。ResNet的残差连接机制像一道光，照亮了过去十年的深度学习之路，它是大模型时代的初代地基。而mHC的出现，则像是为这座地基注入了更高强度的特殊合金。mHC能否接过ResNet的火炬，成为下一个十年的新基石？让我们拭目以待。

欢迎关注我的公众号：秋Sir写字的地方

大过节的qwen发布了image 2512，DeepSeek这边就偷摸的在arXiv 上挂出了这篇 mHC: Manifold-Constrained Hyper-Connections (arXiv:2512.24880)，哪个正经公司在最后一天还发论文啊。

简单的看了一下，说说我的看法： 这回DeepSeek又要对 残差连接（Residual Connection）出手了。

现在我们模型的底层架构就是叠 Transformer Block，而过去这十年，对于每一层的堆叠，恺明大神的 ResNet 也就是那个 y=x+f(x)，几乎行业的“公理”。它通过 Identity Mapping（恒等映射），可以让信号能无损传下去，梯度也能无损传上来，这就保证了咱们能把模型堆到几百上千层还不崩。

但 DeepSeek 团队之前（大概是去年 9 月那会儿）提了个 Hyper-Connections (好像看的人不多，我当时没太注意这个) 的概念，觉得简单的相加太浪费了就搞了个更复杂的连接方式来扩宽层间的信息通路。但是一旦你动了那个“相加”，Identity 的属性就没了，梯度传播就开始不稳定，这样训练起来特别容易炸他们管这叫 Seesaw Effect（跷跷板效应）。

这篇 mHC 就是来填这个坑的，咱们顺着逻辑拆解一下。

这就引出了 mHC 的核心：流形约束（Manifold Constraint）。

别被这数学名词吓着：之前的 HC 是想让连接权重随便长，结果就长歪了；现在的 mHC 就是给这些权重矩阵加了个限制。DeepSeek 在数学上证明了，如果把这些超连接的权重矩阵强制投影到一个特定的流形空间里就能在保留 HC 那种高带宽、多通路优势的同时，还把 Identity Mapping 的属性给找补回来。

也就是说他们在数学层面上造了一个“既要有又要”的结构：既要连接方式足够复杂多变，能捕捉更高级的特征交互；又要信号传播像 ResNet 一样顺滑，不至于在深层网络里迷路。

这里的“流形”具体由两个关键的数学性质构成：

第一是 谱范数约束（Spectral Norm Constraint），他们强制要求连接矩阵的谱范数 ∥W∥2≤1。这在动力系统里叫“非扩张”（Non-expansive）。只有当矩阵的最大奇异值被摁在 1 附近，信号能量在深层传播时才不会发散。

第二是 双重随机矩阵（Doubly Stochastic Matrices）， 这是一类行和、列和都为 1 的非负矩阵。这玩意儿有个极好的代数性质叫 闭包性（Compositional Closure）。两个双重随机矩阵乘起来它还是双重随机的，所以这就保证了无论网络堆多深，整体的变换性质不变。更重要的是，这让每一层的输出变成了上一层的 凸组合（Convex Combination），从根本上恢复了训练的稳定性。

并且论文里面包含了很强的理论推导，对于信号传播（Signal Propagation）的分析非常扎实，直接指出了为什么之前的架构在超深层会遇到瓶颈，而 mHC 是怎么通过约束奇异值分布来解决这个问题的。（ps：DeepSeek 的日子也是好起来了，做实验都敢用27B的模型了，HC那篇用的可以是7B的）

论文里还有一段非常精彩的理论分析，是从 动态系统（Dynamical Systems） 的角度去看的。

如果你把层数看作时间步，深层网络其实就是一个离散的动态系统。而且这篇论文证明了在流形约束下，这个系统的 Lyapunov 指数是受控的。他们通过一种类似 Projecting（投影）的手法，确保权重矩阵始终保持良好的 谱性质（Spectral Properties）。说的通俗点就是：不管怎么更新，这些矩阵在数学性质上必须看起来像一个“稍微扭曲了一点点的 Identity Matrix”，而不是一个完全随机的矩阵。

这就从理论上解释了为什么 mHC 可以堆叠到成百上千层而不崩塌，这部分其实是对现有架构理论的一个重要补充。以前我们只知道“加个残差就好使”，现在 mHC 告诉我们：“只要你在流形上走路，哪怕姿势复杂点，也不会摔倒”。

而且熟悉 DeepSeek 风格的朋友都知道，他们从来不只聊数学，还必须要聊 System Efficiency。

mHC 这个架构显然是做过严格的 Infrastructure Optimization 的。如果只是理论上好使但拖慢了训练速度，DeepSeek 是绝对不会用的。他们在论文里也提到了这点，这种特殊的连接方式配合专门优化的 CUDA kernel，可以把额外的计算开销压缩到了几乎可以忽略不计的程度。

这就很可怕了，等于是在算力成本几乎不变的情况下，白嫖了模型表达能力的上限。在实际的大规模训练吞吐上并没有造成明显的 overhead。

这对咱们行业意味着什么？

我觉得这可能是“后 Transformer 时代”的一个重要信号。以前咱们扩模型，就是简单粗暴地增加层数、增加宽度，属于“堆料”。但 mHC 提示了一个新的方向：层与层之间的拓扑结构（Topology）本身，还有巨大的挖掘空间。

如果这种基于流形约束的连接方式被验证能 scaling up 到万亿参数级别（论文说 671B 的 MoE 模型是ok的），那咱们以后设计大模型，可能就不再是简单的搭积木而是要开始研究积木之间的粘合剂怎么调配了。

mHC 的出现不仅修复了 Hyper-Connections 的缺陷，更重要的是它将深度学习架构设计的视角从单纯的“连接图”提升到了“参数流形”的高度。随着基础模型对效率和能力的要求日益严苛，mHC 所代表的几何约束设计理念，极有可能成为未来几年 AI 基础设施的核心标准之一。

DeepSeek 团队一定有不让 AI 人过好节假日的恶趣味。前有 DeepSeek V2、V3 在假期突袭，现在这篇 mHC (Manifold-Constrained Hyper-Connections) 论文又是卡在 2025 年底发出来，摆明了是让大家在元旦假期里还得被迫学习新架构。

不过玩笑归玩笑，这篇论文确实展现了 DeepSeek 团队一贯的“死磕底层数学，换取极致工程效率”的暴力美学。

现在呢，在相同的 FLOPs（计算量）和参数量下，mHC 模型的 Loss（损失函数）显著低于标准 Transformer。这意味着它的“智商”更高。一个采用了 mHC 的较小模型，往往能达到比它参数量更大的标准 Transformer 的效果。这相当于变相压缩了模型体积。

小==过去的大

mHC 到底是个什么东西？

简单的理解，传统的 Transformer 残差连接（Residual Connection）就像是一条单车道的高速公路。随着模型越来越大，这条单车道不仅拥堵，承载信息的能力也到了瓶颈。

之前的研究（比如 ByteDance 的 Hyper-Connections）试图把它改成“多车道并行”，让信息在不同的车道（流/Streams）之间随便变道、混合。想法很好，但实际上很容易“翻车”——也就是数值不稳定，梯度爆炸，模型根本练不收敛。

DeepSeek 做的 mHC（流形约束超连接），核心就干了一件事：给多车道加了极其严格的“交通规则”。

• 规则的核心：他们强行要求流与流之间混合的矩阵必须是双随机矩阵（Doubly Stochastic，行和列之和都为 1）。
• 手段：为了达到这个要求，他们在训练时用 Sinkhorn-Knopp 算法把参数强行“压”在这个数学流形上。

这么做的好处是，无论你的模型堆多深，信号经过无数次混合后，能量既不会爆炸也不会消失。它既保留了多流并行带来的巨大信息容量，又像标准残差一样稳定。

推理时的计算：这一手“偷天换日”很漂亮

这部分是整个设计的精髓。

如果你只看训练部分，会觉得这东西极其复杂：又要维护参数，又要迭代归一化，计算量感觉很大。但 DeepSeek 玩了一个极其聪明的“时间差”：

所有的复杂计算，全都留在训练阶段。

到了推理（Inference）阶段：

1. 那个原本需要迭代计算的混合矩阵，直接变成了一个固定的常数矩阵 H。
2. 实际计算流：把输入切分成几份（Split） -> 乘上这个固定的 8x8或 16x16 小矩阵（Mix） -> 加上原本的 Attention 输出（Add）。

结论：在推理时，mHC 几乎是零开销的。它用训练时的数学复杂度，白嫖了推理时的模型容量提升。对于部署来说，这就是纯纯的红利。

对编译器和芯片的影响

这玩意儿对硬件极其友好，甚至可以说是为了规避硬件瓶颈设计的。

• 对编译器：关键在于算子融合（Kernel Fusion）。mHC 的矩阵乘法规模很小（MxM），如果单独跑 Kernel 会亏死在显存读取上。但现在的编译器（Triton, XLA 等）很容易把这个小 MatMul 和前后的操作融合成一个 Kernel。只要融合做得好，它对带宽的占用几乎可以忽略不计。
• 对芯片：它没有引入任何稀疏计算（Sparse）或者复杂的路由（Routing），本质上还是 Dense MatMul。这是 GPU/TPU 最擅长的东西，不需要专门为了它去改芯片架构。还有哦，H矩阵的有界性（0~1）是量化算法最喜欢的分布。
• 意义：它打破了“想变强就得把模型做宽”的魔咒。现在可以在不增加模型宽度（不撑爆 SRAM）的情况下，通过增加“流”的数量来提升性能。这对边缘端芯片或者显存吃紧的场景非常重要。

DeepSeek 团队是量化出身对这事有没有影响？

虽然不一定全员搞量化，但这个团队绝对有一群极致的“系统-算法协同设计”专家。或者说，他们是一群对显存带宽和算力利用率极其抠门的人。

你看他们的一系列操作：

• MLA：为了省 KV Cache 显存，搞低秩压缩。
• FP8：为了压榨算力，全链路低精度。
• mHC：为了在不增加带宽的前提下提升容量，搞流形约束。

这显然不是那种只管调参、不管上线死活的“炼丹师”思路。他们的每一个设计，都是盯着 GPU 的硬件瓶颈（通常是 Memory Wall）去的。

他们不仅仅是在做算法，更像是在做软硬一体的极致压缩。mHC 就是这种哲学的产物：用 GPU 过剩的 Tensor Core 算力（做矩阵混合），去换取最宝贵的显存带宽和模型表达能力。

这种把数学理论转化成工程红利的能力，确实是目前业内的顶流水平。

deepseek 真正nb的地方在于他能把很多research上【理论有改善】的东西真的做出来改善。

其他团队做不到的原因是大家不相信其他人的理论，导致每个人都必须自己把整个流程全做完才能证明自己做的东西有价值，那肯定是做不完的。

于是其他人只能做一些incremental的东西，deepseek则可以把全流程每个部件全都换新一遍。

不信你看，deepseek 的attention早就不是attention了，autoregressive也换成了dsa，moe也和一开始的moe有很大差别，训练方法是grpo而不是rlhf，然后现在对residual connection也开始动刀了。

我恍然大悟，这个双流xx约束矩阵，很有可能是先从实践调参中得到的经验，在浓缩成了理论，然后起了个有故事性的名字