Kimi新架构获马斯克盛赞：颠覆十年共识，17岁高中生一战成名

导语

3月16日，月之暗面（Moonshot AI）旗下Kimi团队正式发布技术论文《Attention Residuals》，提出了一种颠覆性的神经网络架构改进方案。这项被称为“注意力残差”的技术创新，不仅在大模型底层结构上实现了突破性进展，更引发了国际AI研究社区的广泛关注。特斯拉CEO埃隆·马斯克在论文发布当日即在社交平台X发声，以“Kimi的工作令人印象深刻”表达肯定。

技术突破：颠覆十年共识

自2015年ResNet提出残差连接以来，这一架构已成为深度学习领域的标准配置。然而，随着大模型参数规模的不断膨胀，传统残差连接的局限性逐渐显现。Kimi团队提出的“注意力残差”机制，在深度维度上引入了注意力机制，改变了此前每层无差别接收所有历史层信息的做法。

根据公开技术报告，该创新在Kimi Linear 48B模型上完成了验证。实验数据显示，在相近效果下，训练计算量可减少约20%，相当于1.25倍的效率优势；推理延迟增加不到2%，且可直接替换标准残差连接。这意味着，大模型能力的提升未必只能靠堆参数、堆算力，从底层结构入手同样能够显著提升信息利用效率。

作者团队：年轻化与专业性的结合

这篇论文最引人注目的细节之一，是其作者构成。共同第一作者包括三位研究员：苏剑林（RoPE旋转位置编码的提出者）、张宇（Kimi Linear第一作者），以及年仅17岁的深圳高三学生陈广宇（Guangyu Chen）。

公开资料显示，陈广宇接触人工智能领域尚不足一年。能够在如此短时间内参与到一项具有行业影响力的研究工作中，并将其名字列入共同第一作者，这在学术界和产业界都极为罕见。他的成长轨迹也从侧面反映了中国AI领域人才选拔机制的灵活性，以及年轻一代技术人才的快速崛起。

行业影响：深度学习进入2.0时代？

Kimi团队此次提出的架构改进，被部分解读为可能开启“深度学习2.0时代”的信号。引入“注意力残差”后，模型设计可能重新关注“加深深度”这一路径，而不只是继续向更大参数规模扩展。这对于当前日益严峻的算力成本挑战，提供了一个新的解题思路。

值得注意的是，月之暗面已在GitHub开源了相关技术报告与实现代码，这为研究社区提供了复现和验证的基础。开源策略的采用，有助于加速技术迭代和行业共识的形成。

结语

《Attention Residuals》的发布，是一次技术创新与人才故事的交织。它既展示了中国AI团队在底层架构上的探索能力，也揭示了年轻技术人才的无限可能。马斯克在X平台上的留言，为这项工作带来了国际关注。对于整个行业而言，如何平衡规模化与效率、如何在算力约束下提升模型能力，仍是需要持续探索的课题。Kimi团队的这项工作，无疑提供了一个值得借鉴的方向。

参考资料：

• Moonshot AI. Attention Residuals. 2026.
• 证券时报. 马斯克点赞！17岁深圳小孩哥，破解AI底层难题. 2026.
• 量子位. Kimi新架构让马斯克叹服！17岁高中生作者一战成名. 2026.