近日，大模型初创公司Kimi（月之暗面）发布的最新技术论文《Attention Residuals: Rethinking depth-wise aggregation》引发行业广泛关注。特斯拉CEO埃隆·马斯克(Elon Musk)在社交媒体上公开点赞该研究成果，评价其为“来自Kimi的亮眼工作(Impressive work)”。
对此，Kimi官方账号互动回应，称赞马斯克的“火箭造得也不错”，这一跨界互动迅速成为全球AI技术社区的热议焦点。
Kimi在此次研究中提出了全新的“注意力残差”（Attention Residuals）方法，旨在挑战并改进大模型中长期沿用的固定累积残差连接模式。该技术通过引入更灵活的深度方向聚合机制，替代了传统的递归结构。这一创新意味着模型在处理极其复杂的上下文信息时，能够打破原有计算路径的局限，显著提升长序列数据的表达精度与处理效率。