LoRA适配器 - vLLM Ascend

一、模块概述

lora目录提供LoRA（Low-Rank Adaptation）微调适配支持，实现高效的模型微调。

图1：LoRA架构

graph LR
    A[输入] --> B[原始权重]
    A --> C[LoRA A矩阵]
    C --> D[LoRA B矩阵]
    B --> E[加权求和]
    D --> E
    E --> F[输出]

lora/
├── __init__.py
├── punica_npu.py      # NPU Punica实现
└── utils.py           # LoRA工具

图2：LoRA推理流程

graph TD
    A[加载基座模型] --> B[加载LoRA权重]
    B --> C[融合权重]
    C --> D[执行推理]

PunicaWrapperNPU是NPU优化的LoRA批处理实现，支持多个LoRA适配器的高效并行执行。