需求故事目录

每篇围绕一个真实需求(来自 git 提交记录):讲清需求背景、相关流程、需求改动,末尾附全部相关链接。与"从上往下"的模块讲解(detailed/panorama)互补,按需求视角带入。

DeepSeek V4.1-Flash 登陆昇腾:框架支持与 Engram 主机卸载

DeepSeek V4.1-Flash 新模型适配 PR #16925

DS 4.1-Flash(CED 因果编码器-解码器 + CSA2 压缩稀疏注意力 + Engram 条件记忆 + DSpark 投机)发布 11 天后完整登上昇腾: 73 文件 +10554 行——V4.1 DSA 执行边界、四槽层外置 KV 分配器、Engram HBM/主机卸载、DSpark 草稿模型。 延伸阅读:CED/CSA2 × 性能协助点专题。

KDA 门控投影融合与双流重叠

Kimi K3 性能优化 PR #15416

KDA 注意力门控路径原本全串行在主流:两个小投影 + beta 现场 sigmoid,让 QKV 大矩阵乘时门控侧干等。 本需求把 f_a/f_b 权重离线组合、beta+门控打包成单次 BFG 投影,再搬到辅助流与主流两阶段重叠(四事件调度)。

RoPE cos/sin 索引+拷贝融合为单次 gather

DeepSeek-V4 性能优化 PR #14428

取 RoPE 表的「高级索引 + copy_」两步式每对 cos/sin 要 4 个算子,还带临时张量分配。 改成 torch.gather(out=...) 直写常驻缓冲后 4 ops → 2 ops,单次调用 814μs → 701μs(-14%)。

PA workspace 跨层复用

通用 GQA/PA 性能优化 PR #15579

图模式 PA 路径的图参数更新循环每层都查一次 get_workspace(28 层 = 28 次 36-54MB 分配 + Setup 往返)。 提到循环外每轮一次、跨层复用((data_ptr,shape) key 变更才重查),Setup/Execute 比 2.0 → 1.036,QPS +2~6%。

首页