自研模型2026-09-11 发布

把大模型的推理轨迹炼进小模型：Qwen3.5-0.8B 推理蒸馏

模型权重已发布：conanfans/Qwen3.8-0.8B-Distill（ModelScope · 约 1.4GB bf16）

一句话结论：0.8B 小模型也能吃到推理蒸馏红利。用 Qwen3.8-Max 生成 5 万条推理轨迹，对 Qwen3.5-0.8B 做全参 SFT，GSM8K 从 49.28% 提升到 56.56%（+7.28pp），MMLU 基本持平。

+7.28pp

GSM8K：49.28% → 56.56%

+0.48pp

MMLU：49.34% → 49.82%

1.70%

seq4096 截断率（原 2.83%）

一、实验背景与目标

本模型是 Qwen3.5-0.8B 的推理蒸馏版本——将 Qwen3.8-Max 的推理能力全参数蒸馏至 Qwen3.5-0.8B 架构（该系列中最小尺寸的成员），基于 qwen3.8-max-distillation-50k 的 5 万条高质量推理轨迹数据进行 SFT，验证大模型推理蒸馏配方在更小参数量模型上的普适性与增益效果。

具体设定：

学生模型是 Qwen3.5-0.8B，门控 DeltaNet 混合架构，原生支持 262K 上下文；
蒸馏数据取 train split 全量 44,796 条，构成约为 math 33%、code 28%、reasoning 24%、instruction 15%；
其中 84% 的回答带有 <think> 推理段；
训练方式是全参 SFT，不是 LoRA；
评测用 EvalScope + vLLM，基线和蒸馏模型各跑 MMLU 和 GSM8K。

实验目标并非刷单一榜单，而是验证一个判断：推理蒸馏的核心，是让模型学"推理过程"，而不是单纯背答案。

二、结果：提升了多少

基准	基线 Qwen3.5-0.8B	蒸馏后 (seq4096)	提升
GSM8K（CoT, 4-shot, 1319 题）	49.28%	56.56%	+7.28pp
MMLU（CoT, 5-shot, 14042 题）	49.34%	49.82%	+0.48pp
MMLU macro	50.70%	50.93%	+0.23pp

MMLU 分域成绩（seq4096 版）：STEM 58.48%、社科 54.53%、其他 48.86%、人文 41.85%。

横向参考，此前 2B 模型的蒸馏结果：

任务	Qwen3.5-2B (基础)	Qwen3.8-2B	Δ
MMLU (CoT, 57个科目)	0.283	0.548	+0.265
GSM8K_cot	0.330	0.640	+0.310

三个值得注意的点：

数学推理提升进一步扩大：截断率从 2.83% 降到 1.70% 后，长样本的"答案收尾"得到完整监督，让 GSM8K 在 seq3072 版（+6.22pp）基础上再涨 1.06pp；
MMLU 基本持平：MMLU 考知识广度，这份蒸馏数据里知识密集型内容占比不高，想拉 MMLU 需掺知识类语料；
0.8B 守住了绝大部分蒸馏增益：对比 2B 蒸馏版的 GSM8K 0.640，0.8B 在容量缩水 60% 的前提下拿到 56.56%，非常接近 2B 版本。

三、训练与评测细节

1. 数据

qwen3.8-max-distillation-50k 的 train split 全量 44,796 条，以数学、代码、推理为主。84% 的样本带 <think> 推理段——学生模型学的不只是最终答案，还有中间推理路径。

2. 训练配置

全参 SFT；精度：bf16 + bitsandbytes 8-bit AdamW；
序列长度 4096，截断率约 1.70%；
批量：per-device batch 1，梯度累积 32，有效 batch 32；
学习率 1e-5，cosine 衰减，warmup 3%；2 epochs，耗时约 7.5 小时；
框架：transformers Trainer + flash-linear-attention；loss 平稳收敛，grad_norm 稳定；
硬件：消费级单卡，WSL2 + flash-linear-attention 快速内核。

3. 评测

EvalScope 1.11.1 + vLLM 0.29.0；标准对话协议（chat 模板 + few-shot CoT），temperature=0，全量测试集；
MMLU 5-shot CoT 14,042 题；GSM8K 4-shot CoT 1,319 题；基线与蒸馏模型评测设置完全一致；
模型卡中另提供 lm-eval 裸补全协议的对照结果，避免因评测方式不同导致误判。

四、相关技术点

1. 推理轨迹蒸馏，而不是只蒸答案

用的不是传统 logits 蒸馏，而是大模型生成的完整推理轨迹做 SFT。学生模型在训练时看到的是"怎么一步步想出来"。直接结果：模型学会"按需调用"推理——简单题直答，复杂题分步推导，而不是无脑输出长思维链。

2. 全参 SFT 与 LoRA 的选择

0.8B 参数量不大，全参 SFT 够得着。推理轨迹蒸馏要改的是模型整体的推理风格，全参微调的上限更高。核心策略：bf16 训练、8-bit AdamW、梯度检查点、bs1 × 梯度累积 32、动态 padding。

3. 混合架构与快速内核

Qwen3.5-0.8B 是门控 DeltaNet 混合架构，部分转换层依赖 flash-linear-attention 的 triton 内核。训练日志里要关注内核加载情况——快速内核没生效，训练会明显变慢，不能只看 loss。

4. 序列长度与截断率的权衡

序列长度从 3072 扩展到 4096，截断率从 2.83% 降到 1.70%，这是本次实验最关键的改进。长样本的"答案收尾"包含关键结论推导，被截断学生模型就学不到完整推理链的收尾逻辑。seq4096 带来 GSM8K 额外 +1.06pp。

5. 评测并发控制

EvalScope 1.x 移除了 --parallel，改用 --eval-batch-size 32，吞吐从 1.4 it/s 提升到 6.6 it/s。这类细节不影响模型效果，但影响迭代效率。

五、生成质量观察

temperature=0 抽了三道题（seq4096 版）：

口算：17×23=391，直接回答；
应用题：60km / 45min 求时速，分步推导正确；
常识题：火星，带一句成因。

行为分化明显：简单题直答，复杂题分步推理。对 0.8B 这个体量来说，这种克制比单纯涨点更有价值。抽查三题依旧全对。

六、可复现要点

torch 2.6.0+cu124 · transformers 5.9.0 · flash-linear-attention 0.5.2 · triton 3.2.0 · bitsandbytes 0.49.2 · vLLM 0.29.0 · EvalScope 1.11.1

核心公式：bf16 + 8bit 优化器 + 梯度检查点 + bs1 × 梯度累积 + 序列长度优先。模型权重约 1.4GB（bf16），消费级单卡约 7.5 小时即可完成训练。推荐采用 seq4096 版本为最终模型。

限制说明：训练数据为英文，多语言能力未在本实验范围内；seq 4096 下约 1.70% 的超长样本依然存在截断；本次微调仅使用文本路径，未涉及多模态能力。

七、模型权重与获取

模型权重下载：conanfans/Qwen3.8-0.8B-Distill（ModelScope，约 1.4GB bf16）
基础模型：Qwen/Qwen3.5-0.8B（ModelScope）
训练数据集：r0b0tlab/qwen3.8-max-distillation-50k（ModelScope Datasets）

八、结论

0.8B 小模型也能吃到推理蒸馏红利。推理蒸馏的关键不是让学生模型背答案，而是让它学推理过程：数据里 math / code / reasoning 占比高，数学推理就涨得最多；知识类内容少，MMLU 涨幅就有限。把序列长度拉到 4096、截断率压到 1.70%，让长样本的答案收尾被完整监督，能进一步放大数学推理上的提升。

下一步拉高 MMLU 的方向：往蒸馏数据里掺知识密集型语料，而不是继续加推理轨迹。

训练数据：r0b0tlab/qwen3.8-max-distillation-50k · 学生模型：Qwen3.5-0.8B（门控 DeltaNet 混合架构） · 评测：EvalScope 1.11.1 + vLLM 0.29.0 · 权重：ModelScope conanfans/Qwen3.8-0.8B-Distill