Kimi K3.1 Pro发布即获昇腾0Day推理支持，覆盖三类超节点
月之暗面近日公开了Kimi K3.1 Pro的全部模型权重。同日，昇腾侧借助vLLM Ascend与SGLang两条推理框架完成对这款模型的零日推理适配，部署范围包括昇腾Atlas 800 A3、Atlas 900 A3 SuperPod超节点，以及昇腾950超节点系列产品。针对K3.1 Pro引入的稀疏注意力机制、百万级上下文窗口和推理服务层面的新要求，昇腾在算子与框架两个层面做了协同调优，使用户和开发者能够在模型放出的第一天就启动部署与效果验证。
2.8万亿参数、原生视觉理解与百万token上下文的能力组合
Kimi K3.1 Pro属于K3.1系列的首款模型，参数规模为2.8万亿，自带视觉理解能力，上下文窗口达到百万token级别。与K3相比，该模型把后训练规模进一步做大，在代码开发、3D创作、金融研究、事实准确性以及长程智能体任务等方向都取得了能力提升。
百万级上下文带来的直接价值是：模型可以把长篇文档、代码以及多轮对话中的任务信息综合起来使用，再联合视觉理解与工具调用能力完成多步骤流程，因此适合软件研发、企业知识处理这类复杂场景。
计算架构方面，K3.1 Pro采用混合线性注意力设计，把KDA线性注意力层和DSA稀疏注意力层组合在一起。要把这种架构的算力优势发挥出来，算子执行、缓存管理、跨卡通信三方面都必须联合调优。
沿用K3适配经验，补齐稀疏注意力与多模态推理路径
昇腾推理团队此前已有Kimi K3的适配积累，这次提前介入模型分析，在模型接入、算子开发和服务验证等环节并行推进。在原有KDA与MoE支持的基础上，团队补齐了K3.1 Pro新引入的稀疏注意力路径与多模态推理适配，同时把推理框架已有的服务能力一并接上。
适配工作的重点分成几块：核心算子优化、推理特性支持，具体涉及历史信息筛选、稀疏注意力运算、预处理与残差计算，再配合分布式缓存与框架层能力叠加，为长上下文推理及服务部署提供支撑。
四项关键算子优化：QLI、QSFA、MLAPO与AttnRes
QLI量化索引器承担的任务是从历史token中挑出候选，供后续稀疏注意力计算做索引。在分布式环境下，昇腾把因果边界判断放到索引算子内部完成，让算子自行界定当前查询能访问多长的历史，从而省掉框架侧的辅助操作。数据准备环节，团队把量化与缓存写入合并，减少中间数据的读写；通过不同设备流分别组织可以独立执行的Q、K计算分支，为计算重叠创造空间。多个DSA层共用的QLI元数据按组生成、跨层复用，避免逐层重复准备。在Model Runner V2（MRV2）对应的执行路径中，又借助独立设备流提前生成元数据，并在首次使用时完成依赖同步。
QSFA量化稀疏注意力负责基于索引器筛出的候选完成注意力计算。昇腾按照模型实际采用的注意力头数和输入布局来优化算子，减少额外的数据填充、拆分与拼接；同时对有效候选范围的处理做了优化，压掉无效候选带来的开销，遇到没有有效候选的查询则直接跳过对应计算。
MLAPO注意力预处理面向注意力预处理中的投影、归一化、量化计算。昇腾接入MLA预处理融合算子（MLAPO），把相关操作合并执行，并将有效KV直接写进分页缓存，从而减少独立算子启动、临时缓冲区占用和二次写入的成本。
AttnRes注意力残差方面，针对评分计算，昇腾优化了多核任务分配，让多个计算核协同承担评分任务，提升小批量解码场景下的资源利用率。
DCP分布式缓存把1M长序列放到多卡上
上下文越长，历史缓存吃掉的显存就越多。昇腾采用解码上下文并行（DCP），把主注意力的KV缓存和索引器的K缓存按token切片分散存到多张卡上，单卡的缓存显存开销因此下降，1M超长序列的部署得以跑通。执行时，各卡先用本地索引器K缓存筛选候选，再相互交换候选信息、确定全局Top-K，之后共同完成稀疏注意力计算，整个过程不需要为候选筛选而汇集索引器的完整历史K缓存。在此之上，团队把候选排序与打包做融合，并对注意力输出的批量打包和流式合并做优化，降低跨卡计算前后数据整理的代价。
框架服务能力延续，量化方案压降存储与显存
在改动模型结构的同时，vLLM Ascend与SGLang继续提供前缀缓存（Prefix Cache）、分块预填充（Chunked Prefill）、预填充／解码分离（PD分离）以及内存池化等框架能力，并叠加MRV2、异步调度、DSpark投机推理等优化。开发者可以继续使用熟悉的框架服务接口、调度配置和参数写法，把K3.1 Pro接入已有的推理服务体系。
量化部署方面，vLLM Ascend与SGLang可以加载原始权重，也提供分模块量化的部署方案：Attention线性层与MoE共享专家采用W8A8（MXFP）动态量化，MoE路由专家采用W4A8（MXFP）动态量化，以低比特权重配合动态激活量化，压缩模型存储与计算访存支出。在分模块权重与激活量化的基础上，两条框架还引入动态C8注意力缓存量化，进一步降低缓存占用的显存，为大模型与长上下文推理托底。
官方同步给出了部署指引：vLLM Ascend的教程位于 https://docs.vllm.ai/projects/ascend/en/latest/tutorials/models/Kimi-K3.1-Pro.html，SGLang的对应说明见 https://github.com/sgl-project/sglang/issues/48348。需要注意的是，实际商业性能与部署方案、参数配置和软硬件环境相关，后续还将持续优化。
小结：Kimi K3.1 Pro以2.8万亿参数、百万token上下文和混合线性注意力架构面世，昇腾在发布当日通过vLLM Ascend与SGLang完成0Day适配，并用QLI、QSFA、MLAPO、AttnRes与DCP等优化支撑长序列推理，配合W8A8/W4A8量化降低资源门槛，使开发者在模型放出首日即可在Atlas 800 A3、900 A3 SuperPod及950超节点上验证部署。