参数源码教学 · 八类总览

代码基线 a71b766ce 已完成 2 / 8 篇 每类一篇浅色源码教学(概念爬坡 · 逐节配图 · 真实行号),规范见设计文档 7d 节

这系列把 vllm_ascend/ascend_config.py(AscendConfig,L226 起)里的调优参数按八类逐类讲透。 分类口径以参数解决什么问题为准(而非 YAML 缩进层级):例如 bubble_threshold 物理上写在 dyntra_lb_config 里,但它的作用是调度气泡控制,所以归入"调度类"。每篇面向 懂通用编程但没接触过这块代码的读者,从常识开始概念爬坡。

这张图回答什么问题:AscendConfig 的参数地图——八类各覆盖哪片问题域,教到哪一篇了。
图 1 · 八类参数地图与教学进度(LR,结构视角)
flowchart LR A["AscendConfig
ascend_config.py:226"] --> C1["① 调度
已教学 ✓"] A --> C2["② 多流
已教学 ✓"] A --> C3["③ 算子融合
待教学"] A --> C4["④ KV 与稀疏
待教学"] A --> C5["⑤ 并行与均衡
待教学"] A --> C6["⑥ 图模式
待教学"] A --> C7["⑦ 投机解码
待教学"] A --> C8["⑧ 精度一致性
待教学"] style C1 fill:#dafbe1,stroke:#1a7f37 style C2 fill:#dafbe1,stroke:#1a7f37

①调度类 已上线

治什么病:多实例忙闲不均、长请求堵短请求、chunk 大小拍脑袋、抢占重算贵、批量作业挤占、MoE 融合算子容量、采样重复计算。

enable_balance_schedulingrecompute_scheduler_enableshort_request_first_configprofiling_chunk_configbatch_job_sched_configdyntra_lb_configmega_moe_max_tokensenable_reduce_sample

→ params-01(8 参数 · 18 图 · 10 代码块)

②多流类 已上线

治什么病:host 侧线程调度漂移让喂卡节奏抖(绑核);device 侧单流执行时 Cube/Vector 交替有空隙、共享专家与路由专家串行干等(双流重叠)。

enable_cpu_bindingmultistream_dsv4_dsa_overlapmultistream_overlap_shared_expert

→ params-02(3 参数 · 绑核 + 双处双流)

③算子融合 编写中

治什么病:Norm/RoPE/量化等相邻小算子逐个启动的开销——按架构选键融合成单算子。

ascend_fusion_configfuse_qknorm_ropefuse_norm_quantfuse_muls_addfusion_ops_gmmswigluquantenable_mlapomlapo_keep_prefill_weights

params-03 规划中,敬请期待

④KV 与稀疏 计划

治什么病:稀疏注意力的 KV 打包布局(C8)、KV 转置/NZ 布局、卸载与预留——KV 这本"预算"怎么花。

enable_sparse_sfa_c8enable_sparse_li_c8c8_enable_reshape_optimenable_kv_nzenable_transpose_kv_cache_by_blocksparse_kv_offload_configkeep_device_kv_cache

⑤并行与负载均衡 计划

治什么病:把一层切到多卡的方式(细粒度分张量)、共享专家 DP、专家热点漂移(动态 EPLB)。

finegrained_tp_configenable_shared_expert_dpeplb_configdynamic_eplbexpert_heat_collection

⑥图模式 计划

治什么病:decode 全图捕获/回放的路径选择(NpuGraphEx、xlite)、PA 形状列表、静态 kernel。

ascend_compilation_configenable_npugraph_exxlite_graph_configpa_shape_listenable_static_kernel

⑦投机解码 计划

治什么病:草稿 token 怎么验证——拒绝采样、块验证、熵验证与动态投机配置。

rejection_sampler_configenable_block_verifyenable_entropy_verifydynamic_spec_configdraft_window_sizeposterior_alpha

⑧精度一致性 计划

治什么病:训练/推理一致性与批不变——精度回归排查时的"保底开关面"。

enable_training_consistencyenable_batch_invariant

勘误与口径说明

首页