采样器 - vLLM Ascend

一、模块概述

sample目录包含NPU优化的采样器实现，支持多种采样策略。

图1：采样流程

graph TD
    A[模型输出logits] --> B[温度缩放]
    B --> C[Top-K过滤]
    C --> D[Top-P过滤]
    D --> E[采样输出Token]

sample/
├── __init__.py
├── ascend_sampler.py    # Ascend采样器
└── utils.py             # 采样工具

图2：采样策略选择

graph TD
    A[采样配置] --> B{温度>0?}
    B -->|Yes| C[随机采样]
    B -->|No| D[贪心解码]
    C --> E[Top-K/Top-P]

AscendSampler继承自vLLM采样器，针对NPU进行了优化，减少CPU-NPU同步开销。