2026年元旦，DeepSeek团队放出了2026年第一炸，发布了梁文锋署名的文章《mHC: Manifold-Constrained Hyper-Connections》。这篇文章会成为经典ResNet结构残差连接机制的颠覆者吗？
为了理解mHC是什么，我们首先回顾下ResNet和它的恒等映射。
2015年之前，训练超过20层的神经网络是一件极其困难的事。因为随着层数增加，梯度在反向传播中逐渐消失，导致模型无法收敛。ResNet（残差网络）的出现打破了这一魔咒。它的核心在于引入了一个极其简单的结构——Shortcut Connection（捷径连接），其公式如下：y = F(x) + x。这里的x就是所谓的恒等映射。为什么它如此重要？
想象一下100个人排队玩传话游戏（类似于神经网络的 100 层）。普通网络（没有恒等映射），前一个人把话传给后面一个，每个人都会对这句话进行一点点加工或理解（卷积/激活函数）。结果传到第 100 个人时，信息早就面目全非了（梯度消失/信息丢失），根本不知道最初说的是什么。恒等映射（ResNet的做法），每个人在传话的同时，还拿了一张纸条，上面写着上一个人传来的原话，直接递给下一个人。这样即使中间有人乱改，只要有这张纸条，第100个人依然能清楚地知道最原始的信息是什么。
大名鼎鼎的 Transformer 正是继承了 ResNet 的残差连接机制，才得以将模型堆叠至千亿参数而不坍塌。从这个意义上说，ResNet 是所有现代大模型的隐形基石。
但ResNet也有它的局限，虽然稳，但它太死板了。x的系数被固定为1.0，这意味着残差流在层与层之间的传递方式是单一且静态的。
打个比方，ResNet引入了一条笔直的引水渠。它的设计哲学极其朴素且实用，水流（信号）会顺着这条渠道，毫无阻碍地从源头直接流淌到终点，确保了下游始终有清洁的水可用（清洁代表信号的高度保真）。这正是 ResNet 能够支撑起百层网络而不发生梯度消失的奥秘所在。但它传输的源头纯净水无法在传输过程中灵活地融合沿途的矿物质（复杂的特征组合），这使得模型在处理极其复杂的任务时，显得有些单调和死板。
研究人员开始思考，能不能把那条渠变宽、变灵活，让水流在途中能够融合更多养分？于是，超连接 (HC) 应运而生。
HC不再满足于单一的x传递，而是构建了多条并行的残差流，并允许它们之间进行动态混合。其核心公式演变为：y = F(x) + Wx。这里的W是一个根据输入动态变化的权重矩阵。优点是网络容量大增，但它有个致命的问题，事实上破坏了ResNet的恒等映射性质。由于W是动态乱变的，信号经过多次矩阵乘法后，数值容易再次失控。
再打个比方，HC就像是贸然挖开了水库的堤坝，让水流涌入了一片缺乏约束的湿地河网。这片区域的水流可以随意分叉、汇合，极大地增加了水道的灵活性和覆盖面（特征表达能力）。但由于缺乏渠道坝的约束，水道的宽窄深浅完全随着每一波水流的冲击而剧烈变化。结果往往是灾难性的：有时支流汇聚引发洪水（梯度爆炸），冲毁下游；有时河床变宽导致流速停滞，变成死水（梯度消失）。这种极度的不稳定，导致模型训练经常因此崩溃。
mHC(流形约束超连接)就是既要HC的水网灵活性，又要ResNet的稳定性（恒等映射）。具体来说是给动态权重矩阵W加上约束，将其严格限制在一个特定的数学流形（Manifold）上。即强制要求W必须满足特定的几何性质（例如正交性或保持范数不变）。这确保了无论W如何动态变化，它对信号的变换始终是良性的。
继续打比方，mHC是对HC原来这片湿地河网进行了一次现代化的水利工程改造。工程师们保留了多条并行渠道以维持灵活性，但引入了坚固的混凝土渠道坝和智能流速控制阀——这便是所谓的流形约束。这套新系统首先保证了无论水流如何在不同渠道间切换，总水量既不会暴增也不会骤减；其次是单向导流，严禁水流回旋或倒灌。通过这种方式，mHC 成功驯服了狂野的水流。确保了流量充沛、流速可控且路径灵活。这不仅让大模型拥有了更强的特征捕捉能力，也找回了ResNet般的训练稳定性。
DeepSeek已经在27B模型中验证了mHC架构在大规模预训练中的有效性。mHC的核心意义在于，在深度学习领域长期存在的灵活性与稳定性的零和博弈中探寻了一条新的路径。ResNet的残差连接机制像一道光，照亮了过去十年的深度学习之路，它是大模型时代的初代地基。而mHC的出现，则像是为这座地基注入了更高强度的特殊合金。mHC能否接过ResNet的火炬，成为下一个十年的新基石？让我们拭目以待。
欢迎关注我的公众号：秋Sir写字的地方