1、选择模型

这里我们选用的是Qianwen1.5——1.8Bchat，训练方式我们选用的是qlora8位的量化等级
更小的量化等级，加载的数据量会更多‌但同时会带来精度上的误差。很小的误差几乎可以忽略不计，关键是你的模型训练的强度
lora微调

2、安装bitsandbytes量化包

下面的报错说是需要安装bitsandbytes，版本需要>=0.37.0,

我当前的环境是PyTorch 2.1.0
Python 3.10(ubuntu22.04)
Cuda 12.1，我安装的bitsandbytes版本是0.37.0运行后会报错


经验证选择bitsandbytes版本0.39.0,bitsandbytes对pytorch以及cuda版本有要求

3、升级bitsandbytes版本

pip install bitsandbytes==0.39.0

4、调整lora的秩

量化后可以加载更多的数据，我们可以将矩阵的秩调的大一些，这样会更加接近原模型的形状。
可以将lora的秩调为64、缩放系数调为128，这个参数听说是有大牛实验了几百次得出得最佳搭配

5、开启模型训练