阿里千问大模型Qwen/Qwen2.5-1.5B-Instruct大模型+LLaMA-Factory微调
·
1.下载大模型(主要不要从微调软件去下载,网络卡顿,无法下载成功)
直接从魔搭社区下载,一般电脑1.5B参数差不多了,再大就带不动了,而且过程中还是要调整参数的,训练数据1w条差不多了。
新建download_model.py,然后在终端用python命令运行执行下载
from modelscope.hub.snapshot_download import snapshot_download
# 模型ID,就是Qwen2.5-1.5B-Instruct在魔搭社区的名字
model_dir = snapshot_download('Qwen/Qwen2.5-1.5B-Instruct', revision='master')
print(f'模型已下载到: {model_dir}')
2.python版本(感觉太高或太低了都不行)
Python 3.11.7
这个版本是自己实测能够成功的
3.llamafactory_env(为这个项目设置单独的虚拟环境,要用的一些库下载到这里,不会影响别的)
4.还要下载Gpu版本
- 建议从魔搭社区直接下载1.5B参数模型,避免通过微调软件下载;2) 推荐使用Python 3.11.7版本;3) 建议为项目创建独立虚拟环境(llamafactory_env);4) 需下载GPU版本支持运算。文中提供了模型下载的Python脚本示例,强调1万条训练数据量足够,并提示参数调整的必要性。

更多推荐



所有评论(0)