一、微调模型
1、数据准备

cd G:\LLaMA-Factory\data
# 在dataset_info.json中追加数据配置文件，参照下图
  "business_expressions": {
    "file_name": "business_expressions.json"
  }
# 生成数据文件business_expressions.json，参照下图

dataset_info.json

business_expressions.json
2、模型微调
参数选项参照以下：
模型下载源选择魔塔：modelscope
选择llama-factory支持的模型名称：Qwen2-1.5B-Instruct（执行时自动下载）
微调方法：lora
对话模板：qwen
数据集：business_expressions.json

点击train页签下的开始按钮，开始微调模型，执行结果如下：

二、模型评估&预测、模型对话
执行Evalute&Predict页签，评估微调的模型质量
执行Chat页签，直接通过对话的方式体验微调的模型效果

以上两个页签不属于本次的说明内容，简单截取一下图


三、模型导出
执行Export页签，导出微调完的模型

导出后的模型如下

四、模型格式转换
通过llama-factory导出的模型是Hugging Face格式，本地为了部署简单，很多使用ollama，而ollama支持的模型格式是GGUF，所以需要进行转换后，才能够在部署到ollama中使用。

1、下载llama.cpp包（里面有核心转换文件convert_hf_to_gguf.py）
上gitee上随便找一个，下载下来使用就可以
https://gitee.com/dgaiot/llama.cpp

2、使用convert_hf_to_gguf.py进行模型转换

cd G:\llama.cpp
python convert_hf_to_gguf.py G:\人工智能\export_models\Qwen2-1.5B-Instruct_20260206

生成的了GGUF格式的模型

五、ollama中创建，运行模型

# ollama中创建模型
ollama create Qwen2-1.5B-Instruct_20260206-F16 -f G:\人工智能\export_models\Qwen2-1.5B-Instruct_20260206\Modelfile

可以看到，已经加载到ollama中了

运行模型


至此、微调、转换、部署都已经完成，这里只是为了说明整个流程，模型微调的质量不在本次说明之内！！！