在医疗垂直领域，大模型的私有化部署是刚需。数据隐私合规要求使得我们无法将真实的病历与问诊数据上传至云端API。本文将以Llama3-8B-Instruct为基座，采用QLoRA高效微调技术，在Windows原生环境下完成医疗问答领域的知识注入，并通过llama.cpp量化后接入Ollama，构建本地专属的医疗推理API服务。

全程规避WSL2的显存映射损耗，最大化利用单卡算力。

基础环境与依赖精准配置

环境基准：Windows 10/11 | Python 3.10 | CUDA 12.1 | 显存 >= 16GB 

在Windows下进行深度学习开发，C编译环境的缺失是诸多报错的根源。请务必提前安装 Visual Studio Build Tools，在工作负荷中勾选**“使用C的桌面开发”**，并确保CMake已加入系统环境变量。

核心依赖安装如下，注意bitsandbytes从0.41版本起已原生支持Windows，无需再手动编译dll文件：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers==4.41.0 peft==0.11.0 trl==0.9.0 accelerate==0.30.0 datasets
pip install bitsandbytes==0.43.1

---

1. 数据工程：对齐Llama3的ChatML格式

微调效果不好，80%的原因是数据格式与基座模型预训练时的指令格式不匹配。Llama3采用了严格的ChatML格式（包含<|begin_of_text|>, <|start_header_id|>, <|eot_id|>等特殊控制符）。我们在构建医疗指令数据集时，必须严格按照messages字段的结构组织数据，而不是随意拼接prompt。

构建 medical_data.jsonl，样例如下：

{"messages": [{"role": "system", "content": "你是一个专业的医疗助手，提供安全、准确的医学建议。"}, {"role": "user", "content": "经常偏头痛怎么缓解？"}, {"role": "assistant", "content": "偏头痛缓解可从以下入手：\n1. 药物：急性发作可使用布洛芬等非甾体抗炎药；\n2. 环境：寻找安静避光处休息；\n3. 冷敷：前额或颈部冰敷收缩血管。\n若频繁发作，请及时神经内科就诊。"}]}

加载数据集时，直接使用HuggingFace的load_dataset读取：

from datasets import load_dataset
 
dataset = load_dataset("json", data_files="medical_data.jsonl", split="train")

---

2. QLoRA 微调

QLoRA的核心逻辑是：将基座模型量化为4-bit冻结，仅在小规模的低秩适配器上使用16-bit进行梯度更新。这使得8B级别的模型可以在16G显存的消费级显卡上顺利跑通。

2.1 4-bit量化与基座加载

通过BitsAndBytesConfig定义量化规则。其中nf4（4-bit NormalFloat）是针对正态分布权重最优的量化格式，double_quant则对量化常数再次量化，进一步节省显存。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from trl import SFTTrainer, SFTConfig
 
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16, # 计算时反量化为fp16
    bnb_4bit_use_double_quant=True,
)
 
model_id = "meta-llama/Meta-Llama-3-8B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
# Llama3基座没有默认的pad_token，必须手动设置，否则batch训练时会报错
tokenizer.pad_token = tokenizer.eos_token 
 
model = AutoModelForCausalLM.from_pretrained(
    model_id, quantization_config=bnb_config, device_map="auto"
)
# 启用梯度检查点并准备k-bit训练
model = prepare_model_for_kbit_training(model)

2.2 LoRA低秩适配器配置

Llama3采用了GQA（Grouped Query Attention），在配置LoRA目标模块时，除了常规的q_proj, k_proj, v_proj, o_proj，强烈建议将MLP层的gate_proj, up_proj, down_proj也加入微调范围，这能显著提升模型对医疗深层语义的吸收能力。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from trl import SFTTrainer, SFTConfig
 
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16, # 计算时反量化为fp16
    bnb_4bit_use_double_quant=True,
)
 
model_id = "meta-llama/Meta-Llama-3-8B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
# Llama3基座没有默认的pad_token，必须手动设置，否则batch训练时会报错
tokenizer.pad_token = tokenizer.eos_token 
 
model = AutoModelForCausalLM.from_pretrained(
    model_id, quantization_config=bnb_config, device_map="auto"
)
# 启用梯度检查点并准备k-bit训练
model = prepare_model_for_kbit_training(model)

2.3 训练超参与启动

Windows环境下Python的多进程数据加载机制极易引发RuntimeError: DataLoader worker ... exited unexpectedly，务必将dataloader_num_workers设置为0。

	training_args = SFTConfig(
    output_dir="./medical_llama3_qlora",
    per_device_train_batch_size=2,
    gradient_accumulation_steps=4, # 等效batch_size=8
    learning_rate=2e-4,
    logging_steps=10,
    max_steps=500, 
    optim="paged_adamw_8bit", # 分页优化器，再次节省显存
    save_steps=100,
    fp16=True,
    max_seq_length=512, # 医疗问答通常不需要太长上下文
    dataloader_num_workers=0, # Windows下必须设为0
)
 
trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    peft_config=peft_config,
    processing_class=tokenizer,
    args=training_args,
)
trainer.train()
trainer.save_model("./medical_llama3_qlora") # 仅保存LoRA权重

---

3. 权重合并与GGUF量化

训练产出的LoRA权重无法直接用于Ollama，必须先与基座模型合并，再转换为llama.cpp支持的GGUF格式。

3.1 离线合并LoRA权重

使用peft的合并脚本将适配器融入基座模型，生成完整的FP16权重：

python merge.py --base_model meta-llama/Meta-Llama-3-8B-Instruct --lora_model ./medical_llama3_qlora --output_dir ./medical_llama3_merged

3.2 CMake编译与GGUF转换

Windows下需要将llama.cpp编译为原生可执行文件。确保已打开**“x64 Native Tools Command Prompt for VS 2022”**终端执行编译：

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build
cd build
cmake .. -G "Visual Studio 17 2022" -A x64
cmake --build . --config Release

编译完成后，执行转换与量化。Q4_K_M是目前性价比最高的量化方案，它对注意力层保留较高精度，对MLP层深度量化，能将模型体积压缩至约4.5GB，显存占用降至6GB左右，且性能损失极小。

# 转换为FP16 GGUF
python ..\convert-hf-to-gguf.py ..\..\medical_llama3_merged --outtype f16 --outfile ..\..\medical_llama3_fp16.gguf
 
# Q4_K_M 量化
..\build\bin\Release\llama-quantize.exe ..\..\medical_llama3_fp16.gguf ..\..\medical_llama3_q4km.gguf Q4_K_M

---

4. Ollama 本地部署

Ollama提供了最优雅的本地模型管理方案，我们通过编写Modelfile将医疗领域的系统提示词固化到模型中，确保其行为稳定。

4.1 编写 Modelfile

在量化后的medical_llama3_q4km.gguf同级目录创建名为Modelfile的文件（无后缀）：

FROM ./medical_llama3_q4km.gguf
 
# 医疗场景需降低随机性，temperature设为0.3以减少幻觉
PARAMETER temperature 0.3
PARAMETER num_ctx 4096
 
# Llama3特有的停止符，防止模型无限生成
PARAMETER stop "<|end_of_text|>"
PARAMETER stop "<|eot_id|>"
 
# 医疗安全护栏
SYSTEM """
你是一个严谨的医疗AI助手。基于用户的症状描述提供初步分析与就医方向指导。你的回答必须基于医学常识，严禁给出绝对性诊断或处方。遇到急症描述，必须优先建议拨打急救电话或前往急诊。
"""

4.2 构建与运行

在PowerShell中执行构建与运行：

# 构建并注册到Ollama
ollama create medllama3 -f Modelfile
 
# 命令行直接对话测试
ollama run medllama3

4.3 业务系统集成 

Ollama默认在本地11434端口起RESTful API服务。在Windows下，业务系统可通过简单的Python脚本无缝对接该医疗大模型：

import requests
import json
 
def ask_medical_assistant(question: str) -> str:
    url = "http://localhost:11434/api/generate"
    payload = {
        "model": "medllama3",
        "prompt": question,
        "stream": False # 非流式返回，便于直接解析JSON
    }
    response = requests.post(url, json=payload)
    return response.json()["response"]
 
if __name__ == "__main__":
    ans = ask_medical_assistant("三岁儿童反复发烧39度以上，且伴有咳嗽，怎么处理？")
    print(ans)

---

5. 总结

本实践完整打通了Windows原生环境下的医疗垂类大模型微调与部署全链路。从底层的C++编译环境构建，到精准对齐Llama3的ChatML指令格式，再到QLoRA显存极致压缩与Q4_K_M量化，每一步都针对单卡消费级硬件进行了深度优化。

最终通过Ollama封装的本地API，实现了医疗问答系统的私有化、轻量化与标准化交付，彻底规避了云端数据泄露的风险，为医疗信息系统的智能化改造提供了一套高可用的落地方案。