解密HealthGPT-Pro-8B的双阶段训练法：3M对齐样本+10M SFT数据的黄金配方

【免费下载链接】HealthGPT-Pro-8B 项目地址: https://ai.gitcode.com/hf_mirrors/lintw/HealthGPT-Pro-8B

HealthGPT-Pro-8B是基于Qwen3-VL构建的高性能医疗多模态大语言模型（Med-MLLM），专为医疗文本、2D医学图像和3D医学体积的理解与分析而设计。其核心优势在于通过创新的双阶段训练法，结合3M对齐样本和10M SFT数据的黄金配比，实现了医疗领域的卓越性能。

🌟 双阶段训练法：打造医疗AI的核心引擎

HealthGPT-Pro-8B的训练架构采用了业界领先的两阶段优化策略，完美平衡了模型的通用性与医疗专业性：

第一阶段：3M对齐样本的基础塑造

在初始训练阶段，模型使用3M高质量对齐样本进行预训练优化。这些样本涵盖了：

• 医学文本与图像的跨模态对齐
• 基础医学知识的结构化表示
• 临床术语与自然语言的映射关系

这一阶段的目标是建立模型对医疗数据的基础理解能力，确保其能够正确解析医学图像中的关键特征，并将专业术语转化为可理解的自然语言。

第二阶段：10M SFT数据的专业提升

第二阶段采用10M指令微调（SFT）数据进行深度优化，重点包括：

• 临床案例分析与诊断推理
• 医学影像报告生成
• 多模态医疗数据综合分析
• 医患交互场景模拟

通过大规模专业数据的微调，HealthGPT-Pro-8B不仅保留了通用指令跟随能力，还获得了精准的医疗专业判断能力，在多项医疗基准测试中表现优异。

📊 训练成果：医疗AI性能的全面突破

双阶段训练法的成效在多项权威医疗AI基准测试中得到验证：

医疗文本任务表现

在MMLU-Med（83.1%）、MedQA（71.3%）和PubMedQA（79.2%）等文本基准测试中，HealthGPT-Pro-8B显著超越同规模模型，平均得分达到61.3分，展现出强大的医学知识掌握能力。

医疗多模态任务表现

在医学图像理解领域，该模型在VQA-RAD（78.4%）、PathVQA（70.7%）和CT-RATE-MCQ（86.0%）等任务中表现突出，平均得分为69.0分，证明了双阶段训练在跨模态医疗分析中的有效性。

🚀 如何体验HealthGPT-Pro-8B

环境准备

首先克隆项目仓库并配置运行环境：

git clone https://gitcode.com/hf_mirrors/lintw/HealthGPT-Pro-8B
cd HealthGPT-Pro-8B

# 创建并激活Python环境
conda create -n healthgpt-pro python=3.12 -y
conda activate healthgpt-pro

# 安装依赖
pip install torch==2.8.0 torchvision==0.23.0 torchaudio==2.8.0 --index-url https://download.pytorch.org/whl/cu128
pip install flash-attn==2.8.3 --no-build-isolation --upgrade
pip install transformers==4.57.1 accelerate==1.11.0 deepspeed==0.16.9 numpy==1.26.4 peft==0.17.1
pip install qwen-vl-utils pillow

快速开始医疗图像分析

以下是使用HealthGPT-Pro-8B进行胸部X光片分析的示例代码：

import torch
from PIL import Image
from transformers import AutoProcessor, Qwen3VLForConditionalGeneration

model_id = "HealthGPT-Pro-8B"

# 加载模型和处理器
model = Qwen3VLForConditionalGeneration.from_pretrained(
    model_id,
    dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="auto",
)
processor = AutoProcessor.from_pretrained(model_id)

# 准备输入
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "examples/chest_xray.png"},
            {"type": "text", "text": "描述这张胸部X光片的主要放射学发现。"},
        ],
    }
]

# 处理输入并生成结果
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

generated_ids = model.generate(**inputs, max_new_tokens=256)
generated_ids_trimmed = [
    out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed,
    skip_special_tokens=True,
    clean_up_tokenization_spaces=False,
)
print(output_text[0])

📝 总结：双阶段训练法的价值

HealthGPT-Pro-8B通过3M对齐样本+10M SFT数据的双阶段训练策略，成功实现了：

1. 医疗专业知识与通用AI能力的平衡
2. 文本理解与图像分析的多模态融合
3. 研究级性能与实际应用需求的兼顾

这种训练方法为医疗AI模型的开发提供了宝贵的参考，展示了数据质量与数量的科学配比如何显著提升模型性能。无论是医学研究还是临床辅助，HealthGPT-Pro-8B都展现出巨大的应用潜力。

📚 引用与致谢

如果您在研究中使用了HealthGPT-Pro-8B，请引用以下论文：

@misc{lin2025healthgptmedicallargevisionlanguage,
      title={HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation},
      author={Tianwei Lin and Wenqiao Zhang and Sijing Li and Yuqian Yuan and Binhe Yu and Haoyuan Li and Wanggui He and Hao Jiang and Mengze Li and Xiaohui Song and Siliang Tang and Jun Xiao and Hui Lin and Yueting Zhuang and Beng Chin Ooi},
      year={2025},
      eprint={2502.09838},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2502.09838},
}

该项目基于Qwen3-VL构建，感谢所有贡献者的努力和开源社区的支持。

【免费下载链接】HealthGPT-Pro-8B 项目地址: https://ai.gitcode.com/hf_mirrors/lintw/HealthGPT-Pro-8B