大模型断点续训流程
·
为什么光有模型参数不够？
要恢复的东西 如果不恢复会怎样
① 模型参数 （这个你想到了）没有它就白训了
② 优化器状态 AdamW 内部存了每个参数的"惯性/动量"。不恢复 = 优化器从零开始"找感觉"，续训后 loss 会抖一下、走弯路
③ 缩放器状态 float16 训练的数值缩放，不恢复可能数值不稳
④ epoch/step 进度 不知道跑到哪了，会从头再跑一遍数据、学习率也会重新预热，等于没续对
这就是为什么续训存档（500~700M）比纯权重文件（130M）大得多——多出来的主要就是那个"优化器状态"。
所以完整的"续训"是
加载[模型参数 + 优化器状态 + 进度] → 跳过已训过的数据 → 从断点那一步接着前向/反向传播
你的直觉主干是对的，只是"加载"这一步要加载的不止模型参数，还有优化器状态和进度，这样才能"无缝接上"，就像训练从没中断过一样。
汇聚全球AI编程工具，助力开发者即刻编程。
更多推荐
6
0- 0
已为社区贡献2条内容
所有评论(0)