🧠 模型加速全景图

全栈分层架构 · 场景 → 架构 → 算法 → 工程 → 硬件
📱 应用场景层 部署形态
☁️ 云端数据中心
高吞吐训练 & 推理,弹性伸缩,大规模集群部署
A100/H100集群 多卡并行分布式
🌐 边缘网关
低延迟实时推理,带宽受限,需要模型轻量化
JetsonNVIDIA Atlas华为
📱 移动端 / IoT
超低功耗,极小内存占用,端侧AI推理
TFLiteAndroid Core MLiOS MCUTinyML
⬇ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ⬇ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ⬇
🧩 模型架构层 基础组件 · 计算模式
⚖️ MoE (混合专家)
稀疏门控路由,动态激活部分专家,大幅降低训练/推理计算量(显存换计算)。
稀疏路由Top-K门控 负载均衡专家容量 并行策略Expert Parallel
🔁 多头注意力 (MHA) 与加速变体
Transformer 核心组件。通过头结构优化(MQA/GQA)或复杂度降低(KDA/线性/稀疏注意)来加速解码与长序列推理。
MHA标准多头 MQA多查询注意力 GQA分组查询注意力 KDA核/线性注意力 稀疏注意BigBird
⬇ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ⬇ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ⬇
📐 算法优化层 模型压缩 · 解码加速
🔢 量化压缩
FP32 → INT8 / FP8 / INT4,降低显存与带宽
PTQ训练后·可含混合/分组量化 分组量化group-wise缩放 混合精度FP16/INT8 QAT感知训练
✂️ 模型剪枝
移除冗余通道/神经元,减少参数量与FLOPs
非结构化稀疏 结构化通道/滤波器 半结构化2:4
🧪 知识蒸馏
大模型(教师)指导小模型(学生)学习
响应蒸馏Logit 特征蒸馏中间层 关系蒸馏样本间
🔍 架构搜索 (NAS)
自动搜索最优网络结构,平衡精度与效率
强化学习控制器 进化算法遗传 可微分DARTS
🌀 稀疏化
利用权重/激活稀疏性,减少无效计算
静态稀疏固定掩码 动态稀疏运行时 稀疏训练L1/L2
🎲 投机解码 & 采样加速
草稿模型快速生成候选Token,大模型并行验证,无损加速生成。
投机解码Speculative 拒绝采样Rejection Medusa多头预测 KV Cache优化内存复用
⬇ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ⬇ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ⬇
⚙️ 工程优化层 推理引擎 · 运行时调度
🚀 推理引擎
高性能运行时框架,算子实现与硬件调度
TensorRTNVIDIA ONNX Runtime跨平台 OpenVINOIntel TFLite移动端
📊 计算图优化
常量折叠、死代码消除、算子融合等变换
常量折叠编译期 死代码消除移除无用 内存规划复用
🧮 内存管理
内存池、In-place操作、复用降低显存峰值
内存池预分配 内存重用In-place 重计算换时间
⚡ 并行计算
多核/GPU并行,数据/模型/流水线并行
数据并行Batch 模型并行层拆分 流水线并行Stage
🔗 算子融合
连续算子合并为单一内核,减少启动开销
水平融合同层 垂直融合跨层 分组融合模式聚合
⬇ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ⬇ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ︎ ⬇
🔌 硬件加速层 芯片 · 算力底座
🖥️ GPU
大规模并行计算,适用于训练和通用推理
NVIDIAA100/H100 AMDMI300
🧠 NPU / TPU
专用矩阵加速单元,极致能效比
TPUGoogle 昇腾华为 寒武纪MLU
💡 FPGA / ASIC
可重构 / 定制化,低延迟特定场景
FPGAXilinx/Intel DSA定制芯片
💾 存算一体
在存储器内部直接计算,消除数据搬运瓶颈
RRAM阻变存储 PCM相变存储 近存计算HBM
🚀 典型应用:加速技术落地 三值化 · 混合精度 · 原生 MTP
🌳 Ternary Bonsai 27B 极端低比特量化 · 端侧

加速技术:基于 Qwen3.6-27B 混合注意力骨干(约 75% 线性注意力),端到端三值化(1.58-bit)——权重取值 {-1, 0, +1},每 128 权重共享一个 FP16 缩放因子(group-wise),真值约 1.71 bit/weight。FP16 约 54GB → 部署约 7.2GB(≈9.4× 压缩),精度保留 FP16 的约 94.6%。辅以 4-bit KV 缓存量化,并在线性注意力骨干上支撑 262K 上下文端侧运行;官方额外提供 DSpark 投机解码草稿层进一步提速;多模态(视觉塔 4-bit)。

定位:在同体量模型中以极小体积换取可用精度,适合单卡 / 端侧部署。

三值化1.58-bit 分组量化g128 混合架构线性注意力 DSpark投机解码 4-bit KV缓存量化
🐦 Ornith-1.5-35B-A3B MoE · FP8 · 原生 MTP

训练侧(核心特点):采用 自出题(self-generated tasks)+ 自脚手架 / 自滚动优化(self-scaffolding)+ 强化学习闭环(end-to-end self-improvement) 的范式,将任务生成、脚手架构建与求解滚动联合优化,相比同体量 Qwen3.6-35B 在编程与智能体基准上提升明显。

加速技术:35B MoE,每 token 仅激活约 3B 参数;FP8(per-tensor)量化降低显存与带宽;原生 MTP 草稿头(约 1.9B)即自投机解码(vLLM --spec-type draft-mtp);社区 NVFP4+FP8 混合量化把 35B 压到 22.6GiB(较 BF16 约 3× 更小)且保留 MTP 块,投机解码依然可用;原生 256K 长上下文。

FP8 量化per-tensor 混合精度NVFP4+FP8 MoE3B激活 原生 MTP自投机 256K长上下文
🪨 Qwen3.8-27B-Ridge 架构感知量化 · 原生 MTP

加速技术:对 Qwen3.8-27B(混合 GatedDeltaNet + 全注意力)做 架构感知混合量化 + 原生 MTP。敏感的门控线性注意力(GDN)状态路径保持 Q8_0 高精度,混合器 Q4_K,中段 FFN 压至 IQ2_M,MTP 草稿头 Q6_K。27B → 11.7GB @3.7bpw,约 54 tok/s(RTX PRO 6000 Blackwell),原生 MTP 提供投机提速。

定位:按层敏感度分配比特,在体积与精度间精细权衡,适合单卡高吞吐。

架构感知量化混合精度 原生 MTP投机提速 GDN 状态路径Q8_0 低比特 FFNIQ2_M
华杉的技术博客 · 苏ICP备2026063680号-1
首页