DeepSeek V4.1 的 KV Cache 汇总：改了什么、HCA 为什么退场、CED+CSA2 复现实测

1. V4.1-Flash 改了什么：四步递进与量化效果账

固有瓶颈（该篇的出发点）：Transformer 每一层都独立保存专属 K、V——层数与序列长一起乘，上下文一长 KV Cache 先爆。V4.1-Flash 的解法不是继续把每一份压小，而是动「谁生成、谁持有」。

架构总览：40 层主干切成两段——前 20 层因果编码器 + 后 20 层解码器，每层内含 MoE 路由（Prefill 激活 8B/token）；两段之间靠 KV 投影衔接：解码器的全局 KV 不从自身生成，而由编码器最后一层隐藏态 H_20 投射得到。

四步递进的推理配置（该篇的主线，也是「改了啥」的完整答案）：

量化效果四笔账：

FP4 的位置：主 KV 从 FP8 下到 FP4（E2M1，每 16 通道一个 E4M3 scale，无 per-tensor scale）——这是在 CED 和 CSA2 已减过份数之后的动作，不是全局一刀切：SWA KV 仍保留 FP8。主记录 512 值 × FP4 = 256 B 加 32 B scale；索引 128 值 × FP4 = 64 B 加 4 B scale。省掉二级全局 scale 的数值前提：E2M1 只有 1 位尾数，实际 KV 最大幅度约 10，scale 上界约 2048，余量近两个数量级。

# FP4 E2M1 主 KV 量化，per-16-channel E4M3 scale
def quantize_fp4_e2m1(x):                    # x: [..., 512]
    x = x.view(..., 512 // 16, 16)           # 每 16 通道一组
    scale = x.abs().amax(dim=-1) / 6.0       # 6 = E2M1 最大幅值
    scale = scale.clamp(min_e4m3, max_e4m3)  # 无 per-tensor scale
    q = (x / scale.unsqueeze(-1)).round()    # 4 bit 量化
    return q, scale                           # 256 B + 32 B = 288 B

2. KV Cache 演进：MLA → V4.0 三段分段 → V4.1 换路径

台阶总览：MLA 基准 70,272 B/token → V4.0 约 3,514 B/token → V4.1 约 890 B/token。三个阶段压的是不同的东西：MLA 压每层存什么；V4.0 压序列维度（按时长分段）；V4.1 压份数（换生成路径 + 层间复用）。

基准 MLA：特征维低秩——不为每个 head 存完整 K/V，存 512 维 latent 加 64 维 RoPE key，每 token 每层 576 标量；61 层线性累加到 70,272 B/token。层与层之间没有连线：各自生成、各自持有，「每层各存一份」这个乘数没动。

V4.0 的三段分段：在特征维度之外沿序列维度加压，且按上下文长度分段：

CSA 段：步长 4、窗口 8、重叠 4，块间保留一半重叠——这个重叠是它在边界处不崩的原因。21 层 CSA 主 KV 合计约 3,066 B/token，是 V4.0 全局 KV 的大头。

HCA 段：每 128 个 token 压成一条 entry，块间首尾相接、没有重叠；每层 query 直接看全部压缩块（无 Indexer）。20 层 HCA 合计仅约 91 B/token——省，但把风险集中在边界上（第 3 章展开）。

V4.1 的两件事：一是 CED 拆分——后 20 层的全局 KV 从 H_20 投影分发，不再逐层自产，全局 KV 生成维度上 40 层工作量接近减半；二是 CSA2 层间复用——Full 层完整生成主 KV 和 indexer K，Reindex 层共享主 KV 只重算 Top-K，Reuse 层连索引也复用，真正独立持有全局 KV 的只剩少数源层。压缩比从 4 降到 2（步长 2、窗口 4、重叠 2）。

3. HCA 为什么退场：无重叠的相位代价

根因一条：128:1 压缩且块间无重叠——query 落在 127/128 这类边界时，需要的证据被切到相邻块。字节 Seed 实测里，V4-Flash 在 128K 检索任务中最好与最差位置组的准确率差约 40 个百分点，波动周期与分块步长一致。站内《固定窗口压缩的相位敏感性》一篇专门展开了这个现象。

三条边界要交代：

4. 训练说明：老师-学生结构与三段关键代码

训练结构（参考图）：老师是 SWA（滑动窗口 128，冻结 ❄），学生在 SWA 之外多出一条可学习的 KV 分支（θ 标记为可训练参数）——HCA 版把历史压成 128:1 无重叠的压缩条目 + 滑窗原始 KV 做 Shared-KV MQA；CSA 版用 4:1 重叠压缩 + Lightning Indexer 打分选 Top-K，Indexer 因 Top-K 掩码不可导而加辅助损失 L_idx。

复现侧的三段核心代码（完整版见复现实测.md）：CED 主投影器 Linear(2560, 2048) 约 5.24M 参数，输出前 1024 维作 K、后 1024 维作 V：

class CEDProjector(nn.Module):
    """Linear(hidden -> 2*KV_DIM)，输出前 1024 为 K、后 1024 为 V"""

    def __init__(self, input_dim=config.PROJ_INPUT_DIM, output_dim=config.PROJ_OUTPUT_DIM):
        super().__init__()
        self.proj = nn.Linear(input_dim, output_dim, bias=True)

    def forward(self, h16: torch.Tensor):
        out = self.proj(h16)
        return out[..., : out.shape[-1] // 2], out[..., out.shape[-1] // 2 :]

CSA2 适配器：闭式解线性基座 + 残差修正。这里踩过一个坑——ResidualMLP 若前后两层都零初始化，梯度恒为零，残差分支成死区；改成只零初始化最后一层、前层随机初始化后，V 的 R² 从 0.57~0.69 提升到 0.67~0.83：

class ResidualMLPAdapter(nn.Module):
    """闭式解线性基座 + 残差修正：y = base(x) + refine(x)。
    refine 末层零初始化（起点等价闭式解）；前层保持默认随机初始化——
    若两层全零，W1/W2 梯度恒为零，残差分支成死区（已踩坑，勿改回）。"""

    def __init__(self, dim, hidden=None):
        super().__init__()
        hidden = hidden or dim * 2
        self.base = nn.Linear(dim, dim)
        self.refine = nn.Sequential(
            nn.Linear(dim, hidden), nn.GELU(), nn.Linear(hidden, dim)
        )
        nn.init.zeros_(self.refine[2].weight)
        nn.init.zeros_(self.refine[2].bias)

    def forward(self, x):
        return self.base(x) + self.refine(x)

岭回归闭式解初始化：让适配器起点等价于「最优线性映射」，SGD 只补非线性残差：

@torch.no_grad()
def init_from_closed_form(self, x_k, y_k, x_v, y_v, lam=1.0):
    """闭式解（岭回归）初始化：x (N,dim) -> y (N,dim)。
    Linear：直接求解；ResidualMLP：初始化 base 分支（refine 保持零）。"""
    for map_module, x, y in ((self.k_map, x_k, y_k), (self.v_map, x_v, y_v)):
        target = map_module if isinstance(map_module, nn.Linear) else map_module.base
        xa = torch.cat([x, torch.ones(x.shape[0], 1, device=x.device)], dim=1)
        w = torch.linalg.solve(xa.T @ xa + lam * torch.eye(xa.shape[1], device=x.device), xa.T @ y)
        target.weight.copy_(w[:-1].T)
        target.bias.copy_(w[-1])

5. 复现实测：设定、结果与边界

设定：Qwen3.5-4B 冻结主干，hook 一次 forward 捕获第 16 层隐藏态 H_16 与第 20/24/28/32 层的 k_proj/v_proj 输出（pre-norm、pre-RoPE 空间），1200 条样本落盘 12.2GB；CED 投影器 MSE 收敛 0.0658。与官方的关键差异：官方是从头预训练时协同学习投影器与适配器，复现是在已收敛表示空间里做映射拟合——验证的是机制可行性，不是原始训练配方。

四项主要结果：

可信度交叉验证：手动逐层 decode 与官方 forward 的 max|Δlogit| = 0.0000、top-1 完全一致；固定位置 H_16 在总长 32~256 下 fp32 零差异（因果性严格）；分块 kernel 对末尾不完整 chunk 的 ~2^-5 量级差异与后缀内容无关，确认为非因果泄漏。关键前提一条：跨层 KV 不能直接复用——第 20 层与第 24/28/32 层 KV 余弦相似度约 0，必须经可训练适配器映射，映射后 R² 到 0.67~0.85。

6. 结论与来源

结论三句：演进主线索是「压每份 → 压序列 → 压份数」，V4.1 用 CED+CSA2 换掉逐层自产，用带重叠的 CSA2 接住 HCA 退场后的远程段，FP4 收位宽，全局 890 B/token、持久化 1/8；相位问题从 40pp 压到约 6pp 但未消除；复现侧在 4B 混合架构上验证机制成立——生成质量基本无损、prefill 加速与持久压缩达标、量化扰动轻微，规模与架构差异是结论的边界。

来源与互链：第 1 章与图 1–3 取自站内《DeepSeek-V4.1-Flash 推理加速解读》（四步递进的推理配置与量化效果）；HCA 相位现象的专门展开见《DeepSeek-V4.1 固定窗口压缩的相位敏感性》；第 2、3 章基于 KV 演进底稿（图 4–8），第 4、5 章基于 CED+CSA2 复现实测记录（图 9–13 与四段代码）；训练结构参考图为老师-学生 SWA 结构两式（HCA / CSA）。

汇总篇 · 2026-10-19 发布 · 第 1 章图 1–3 取自《Flash 推理加速解读》，相位现象详见《固定窗口压缩的相位敏感性》；数字与结论均取自所引素材