DeepSeek近日发布论文，阐述了一种更为高效的人工智能开发方法。该论文由创始人梁文锋参与撰写，提出了名为“流形约束超连接”(mHC)的框架。作者称，该框架旨在提升可扩展性，同时降低训练先进人工智能系统的算力和能源需求。DeepSeek下一代旗舰系统R2预计将在2月份春节前后问世。

　　DeepSeek提出mHC新架构

　　1月1日消息，DeepSeek发布了一篇新论文，提出了一种名为mHC（流形约束超连接）的新架构。

　　该研究旨在解决传统超连接在大规模模型训练中的不稳定性问题，同时保持其显著的性能增益。

　　这篇论文的第一作者有三位：Zhenda Xie（解振达）、Yixuan Wei（韦毅轩）、Huanqi Cao。值得注意的是，DeepSeek创始人梁文锋也在作者名单中。

　　论文摘要指出，近来，以超连接（HC）为代表的研究通过拓宽残差流宽度和多样化连接模式，拓展了过去十年间确立的普遍采用的残差连接范式。虽然这些改进带来了显著的性能提升，但连接模式的多样化从根本上削弱了残差连接固有的恒等映射特性，导致严重的训练不稳定性与受限的可扩展性，同时还造成了显著的内存访问开销。

　　为了解决这些问题，DeepSeek提出了流形约束超连接（mHC）——一种通用框架，能够将HC的残差连接空间投影到特定流形上，从而恢复恒等映射特性，并融合严格的基础设施优化以确保运行效率。

　　DeepSeek称，实证实验表明，mHC能够有效支持大规模训练，在提供明显性能提升的同时具备更优的可扩展性。DeepSeek预计，mHC作为HC的一种灵活而实用的拓展，将有助于深化对拓扑架构设计的理解，并为基座模型的演进指明富有前景的方向。

　　内部大规模训练结果显示，mHC可有效支持规模化训练，当扩展率=4时，仅带来6.7%的额外时间开销。

　　图为残差连接范式的示意图。本图对比了 (a) 标准残差连接、(b) 超连接以及 (c) 流形约束超连接的结构设计。与无约束的HC不同，mHC通过将连接矩阵投影到一个约束流形上，专注于优化残差连接空间，从而确保训练的稳定性。

　　论文在结论与展望部分指出，实证结果表明，mHC能有效恢复恒等映射特性，相较于传统HC，能以更优的可扩展性实现稳定的大规模训练。关键的是，通过高效的基础设施级优化，mHC以可忽略的计算开销实现了上述改进。

　　论文还指出，作为HC范式的广义拓展，mHC为未来研究开辟了多个重要方向：虽然本研究采用双随机矩阵确保稳定性，但该框架可兼容针对特定学习目标设计的多种流形约束探索；预计对差异化几何约束的深入研究可能催生能更好权衡可塑性—稳定性关系的新方法。此外，DeepSeek希望mHC能重新激发学界对宏观架构设计的关注。通过深化对拓扑结构如何影响优化与表征学习的理解，mHC将有助于突破现有局限，并可能为下一代基础架构的演进指明新路径。