投机解码 - vLLM Ascend

一、模块概述

spec_decode目录实现投机解码（Speculative Decoding），通过草稿模型加速推理。

图1：投机解码流程

graph TD
    A[输入] --> B[草稿模型生成K个Token]
    B --> C[目标模型验证]
            C --> D{接受/拒绝}
            D -->|接受| E[保留Token]
            D -->|拒绝| F[重新采样]
            E --> G[继续生成]
            F --> G

二、文件结构

spec_decode/
├── __init__.py
├── eagle3_draft_model_runner.py  # Eagle3草稿模型
├── dflash2_draft_model_runner.py # DFlash2草稿模型
├── dspark_draft_model_runner.py  # DSpark草稿模型
└── utils.py                      # 工具函数

三、草稿模型

图2：草稿模型分类

graph LR
    A[投机解码] --> B[Eagle3]
    A --> C[DFlash2]
    A --> D[DSpark]
    B --> E[树状验证]
    C --> F[并行验证]
    D --> G[分布式验证]

说明

投机解码通过小模型快速生成候选Token，再由大模型并行验证，可显著提升推理吞吐量。