ValueError: Attempting to unscale FP16 gradients

训练标准的qwen-vl出现奇奇怪怪的报错,不一定是错误本身,大概率是transformers和peft库的版本问题,挨个降低版本。这里给个参考:transformers==4.36.1  peft==0.4.0

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐