华杉的技术博客

推理加速2026-10-19

DeepSeek V4.1 的 KV Cache 汇总：改了什么、HCA 为什么退场、CED+CSA2 复现实测

四步递进的推理配置与量化四笔账；MLA→V4.0→V4.1 演进台阶（70,272→3,514→890 B/token）与 HCA 相位根因；老师-学生训练结构图与 Qwen3.5-4B 复现实测——13 图 4 段代码，取自 Flash 解读与复现记录

基础理论2026-10-18

QKV 与 KV Cache：从注意力计算到推理缓存（图解 + PyTorch 源码）

Q/K/V 怎么算、causal mask 挡什么、无缓存为什么平方级重算、Prefill 与 Decode 怎么写缓存、逐层缓存与显存公式、以及 GQA/MLA/量化怎么省——11 张图配 10 段可运行 PyTorch

算子与编程2026-10-16

昇腾算子地图：编排层、自研算子、CANN 三层逐层展开

编排层不出算子、自研层藏着 DSA 特化、CANN 层两户人家——三层全景逐层展开族谱，拿真实 profiling 数据认亲

硬件架构2026-10-15

昇腾 A5 组网形态详解：Atlas 650E 的三种拓扑对比

机内 8 卡灵衢 UB 背板 Full-Mesh；RoCE / FM16 灵衢直连 / UBoE 三种机间拓扑——是不是超节点，一条命令判定

推理加速2026-10-10

DeepSeek V4.1 为何回退 V4 的固定窗口压缩？

一个 token 位移，召回从 50% 掉到 0：分块 KV 压缩的相位敏感性，以及 V4.1 用 CSA2 + SWA 的解法

44

学习专区

6

实验专区

2

模型专区

学习专区

44 篇 · 8 个专题

系统化的 AI 推理优化技术学习记录，按发布时间倒序

实验专区

6 个实验 · 持续更新

复现前沿论文效果，探索更优的推理优化方案，实验数据与结论完整公开

论文复现待完善

复现实验（规划中）

复现论文或开源项目中的推理效果，验证理论分析的正确性。实验环境与复现结论将发布在此处。

性能优化待完善

优化实验（规划中）

在现有基础上进行优化，追求更快的推理速度和更低的延迟。对比数据与调优过程将发布在此处。

模型专区

2 个模型 · 持续训练中

自己动手训练的模型，训练记录、评测结果与下载入口都将发布在这里

多语言增强版规划中

下一轮训练（规划中）

往蒸馏数据中掺入知识密集型语料，拉高 MMLU；同时扩展多语言能力，弥补当前训练数据全英文的限制。

模型下载已发布

Qwen3.8-0.8B-Distill

seq4096 最终版权重已发布至 ModelScope（约 1.4GB bf16），含基础模型与训练数据集链接。前往下载 →

推理优化的核心在于：用更少的计算资源，更快地获得更好的结果。从硬件架构理解计算本质，从算法设计突破性能瓶颈，从工程实践落地优化方案。