什么是蒸馏？

把大模型（老师）学到的知识压缩进小模型（学生），让后者在体量更小、推理更快的同时保留主要能力。

常用方法

• 软标签蒸馏：用教师输出的概率分布训练学生；
• 隐藏层蒸馏：对齐中间表示
• 数据增强：教师生成伪数据再训练

模型蒸馏的效果如何，在哪些场景中使用？

7B 参数学生经过13B教师蒸馏，C-Eval提升4.3分，推理延迟降至三分之一，显存占用减半。
使用场景：端侧部署、高并发客服、低算力边缘设备，需快速响应且可牺牲少量精度。

模型蒸馏中需要注意：

• 教师-学生任务分布需一致
• 温度系数别过大
• 蒸馏后仍需微调避免灾难遗忘
• 留5%数据做校验防退化