近期,小红书正式发布了全新开源大模型dots3-note preview。作为该系列的首个版本,该模型拥有280B 的总参数量以及16B 的激活参数量,并具备文本、视觉和语音的全模态感知与理解能力。在推理、Agent 以及多模态任务中,其表现直逼国内外更大尺寸的优秀模型。
在模型发布当日,华为官方迅速宣布,昇腾 Atlas800A3与 Atlas900A3SuperPoD 超节点已完成对该模型的高效适配,并借助 vLLM Ascend 开源推理引擎提供完整的部署与运行支撑。

此次昇腾针对该模型展开了全链路的深度优化,重点攻克了多模态处理与增量解码的性能瓶颈。在全模态端到端适配上,平台成功打通了视觉编码器、音频特征提取及大语言模型的主干推理,确保原生多模态交互的稳定性;在框架特性优化方面,通过通信与计算的深度融合及算子重构,彻底消除了多卡间的重复计算,显著提升了 MoE 架构的推理吞吐量。

此外,针对增量推理阶段的延迟痛点,昇腾原生适配了 MTP 投机解码能力,通过单次前向并行生成多个候选 Token 并完成校验复用,大幅减少了解码前向次数。这一系列底层优化不仅保障了模型的高效稳定运行,也为长程复杂任务场景的智能落地奠定了坚实的算力基础。