基本环境：Jenkins（自动化工作流）、

                   Git（下载代码)、

                    Anaconda（虚拟化环境创建）、

                    Python（编程语言支持）

关键组件：CUDA（发挥GPU算力优势，可大幅缩短微调时间）

                  LLaMa-Factory（模型微调工具）

                  llama.cpp (模型格式转换)

                  MLFlow(模型生命周期管理 注册、评估、镜像生成)

部署：Docker 容器化部署

测试：Streamlit（快速搭建web测试界面）

一、安装Anacodna

写文章-CSDN创作中心

二、安装CUDA

CUDA安装-CSDN博客

三、安装jenkins

官网地址：Jenkins 的安装和设置

选择对应的平台进行下载

安装步骤参照网页：Windows

四、安装mlflow

conda activate mlflow

pip install mlflow

mlflow server --host 127.0.0.1 --port 8082 --backend-store-uri file:///d:/mlflow/mlruns --default-artifact-root file:///d:/mlflow/mlartifacts

五、安装git

官网地址：Git - Git 安裝教學

六、llama-Factory

conda activate mlflow

cd d:\mlflow

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

cd LLaMa-Factory

pip install -e ".[torch,metrics]"

安装完成后通过下面的命令验证

llamafactory-cli version

如果想要网页查看llama-factory可以使用： python src/webui.py 就可以打开网页了

修改mlflow\llama-factory\data文件下的dataset_info.json

增加下面的内容：

"dataset":{     "file_name": "custom.json"   },

七、安装llama.cpp

conda activate mlflow

cd d:\mlflow

git clone https://github.com/ggerganov/llama.cpp.git

cd llama.cpp\gguf-py

pip install --editable .

pip install mistral-common

八、训练模型下载

下载地址：千问2-0.5B · 模型库

下载到 D:\mlflow\下

九、在jenkins总创建一个名为LLMOps的pipline

1增加参数DATASET_FILE、MODEL_NAME_OR_PATH、MLFLOW_TRACKING_URI

2.编写：pipelineScript脚本

脚本内容在github（https://github.com/kaixinguo111hao/AutoOpsAndLLM.git）上的jenkins-script.py文件中，其他需要的文件也在github上

3.执行

4.测试