加速技术:基于 Qwen3.6-27B 混合注意力骨干(约 75% 线性注意力),端到端三值化(1.58-bit)——权重取值 {-1, 0, +1},每 128 权重共享一个 FP16 缩放因子(group-wise),真值约 1.71 bit/weight。FP16 约 54GB → 部署约 7.2GB(≈9.4× 压缩),精度保留 FP16 的约 94.6%。辅以 4-bit KV 缓存量化,并在线性注意力骨干上支撑 262K 上下文端侧运行;官方额外提供 DSpark 投机解码草稿层进一步提速;多模态(视觉塔 4-bit)。
定位:在同体量模型中以极小体积换取可用精度,适合单卡 / 端侧部署。
训练侧(核心特点):采用 自出题(self-generated tasks)+ 自脚手架 / 自滚动优化(self-scaffolding)+ 强化学习闭环(end-to-end self-improvement) 的范式,将任务生成、脚手架构建与求解滚动联合优化,相比同体量 Qwen3.6-35B 在编程与智能体基准上提升明显。
加速技术:35B MoE,每 token 仅激活约 3B 参数;FP8(per-tensor)量化降低显存与带宽;原生 MTP 草稿头(约 1.9B)即自投机解码(vLLM --spec-type draft-mtp);社区 NVFP4+FP8 混合量化把 35B 压到 22.6GiB(较 BF16 约 3× 更小)且保留 MTP 块,投机解码依然可用;原生 256K 长上下文。
加速技术:对 Qwen3.8-27B(混合 GatedDeltaNet + 全注意力)做 架构感知混合量化 + 原生 MTP。敏感的门控线性注意力(GDN)状态路径保持 Q8_0 高精度,混合器 Q4_K,中段 FFN 压至 IQ2_M,MTP 草稿头 Q6_K。27B → 11.7GB @3.7bpw,约 54 tok/s(RTX PRO 6000 Blackwell),原生 MTP 提供投机提速。
定位:按层敏感度分配比特,在体积与精度间精细权衡,适合单卡高吞吐。