量化支持 (quantization/)

模型量化支持，提升推理效率

一、模块概述

quantization目录提供多种模型量化方案，降低模型大小和推理延迟。

图1：量化方法分类
graph TD
    A[量化方法] --> B[Ascend量化]
    A --> C[FP8量化]
    A --> D[压缩张量]
    A --> E[动态量化]

二、文件结构

quantization/
├── __init__.py
├── ascend_quant.py      # Ascend专用量化
├── fp8.py              # FP8量化
├── compressed_tensors.py # 压缩张量
├── model_slim.py        # 模型瘦身
├── modelopt_mxfp8.py   # ModelOpt MXFP8
├── mxfp8.py            # MXFP8
└── utils.py            # 量化工具

三、量化方法详解

Ascend量化

昇腾NPU专用量化格式

  • AscendModelSlimConfig
  • 权重量化
  • 激活量化

FP8量化

8位浮点量化

  • AscendFp8Config
  • E4M3格式
  • E5M2格式

压缩张量

Compressed Tensors格式

  • AscendCompressedTensorsConfig
  • 稀疏量化
  • 混合精度

MXFP8

Microscaling FP8

  • AscendModelOptMxFp8Config
  • 分块缩放
  • 高效计算

四、量化检测流程

图2：自动量化检测流程
graph TD
    A[加载模型] --> B{检查量化配置}
    B -->|FP8| C[使用AscendFp8Config]
    B -->|压缩张量| D[使用CompressedTensorsConfig]
    B -->|Ascend格式| E[使用ModelSlimConfig]
    B -->|无量化| F[使用默认配置]
首页