Phi-3-mini-128k-instruct部署教程：Docker Compose编排vLLM+Chainlit服务

1. 模型简介

Phi-3-Mini-128K-Instruct是一个38亿参数的轻量级开放模型，属于Phi-3系列。它经过专门训练，能够处理长达128K token的上下文内容，在常识理解、语言处理、数学推理和编码等任务上表现出色。

这个模型的特点在于：

• 训练数据来自高质量合成数据和精选公开网站内容
• 经过监督微调和直接偏好优化，确保指令遵循能力
• 在同类小参数模型中性能领先
• 支持超长上下文处理（128K token）

2. 环境准备

2.1 系统要求

部署前请确保您的系统满足以下条件：

• Linux操作系统（推荐Ubuntu 20.04+）
• Docker 20.10.0+
• Docker Compose 1.29.0+
• NVIDIA GPU（建议16GB+显存）
• CUDA 11.8+

2.2 安装依赖

# 安装NVIDIA容器工具包
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

3. 部署步骤

3.1 准备Docker Compose文件

创建docker-compose.yml文件：

version: '3.8'

services:
  vllm:
    image: vllm/vllm-openai:latest
    runtime: nvidia
    environment:
      - MODEL=Phi-3-mini-128k-instruct
    ports:
      - "8000:8000"
    volumes:
      - ./models:/models
    command: --model /models/Phi-3-mini-128k-instruct --tensor-parallel-size 1

  chainlit:
    image: chainlit/chainlit:latest
    ports:
      - "7860:7860"
    environment:
      - OPENAI_API_BASE=http://vllm:8000/v1
      - OPENAI_API_KEY=EMPTY
    depends_on:
      - vllm

3.2 下载模型权重

mkdir -p models/Phi-3-mini-128k-instruct
# 请从官方渠道获取模型权重并放入此目录

3.3 启动服务

docker-compose up -d

4. 验证部署

4.1 检查服务状态

查看vLLM服务日志：

docker-compose logs -f vllm

当看到类似以下输出时，表示模型已加载完成：

INFO 05-01 12:00:00 llm_engine.py:72] Initializing an LLM engine with config...
INFO 05-01 12:01:00 llm_engine.py:150] Model loaded successfully.

4.2 使用Chainlit测试

1. 打开浏览器访问 http://localhost:7860
2. 在聊天界面输入问题，如："请用简单语言解释量子计算"
3. 等待模型生成回答

5. 常见问题解决

5.1 模型加载失败

可能原因及解决方案：

• 显存不足：尝试减小tensor-parallel-size值
• 模型路径错误：确认模型权重已正确放置
• 权限问题：确保Docker有权限访问模型目录

5.2 响应速度慢

优化建议：

• 使用更高性能GPU
• 调整--max-num-seqs参数限制并发请求
• 减少生成token数量

5.3 Chainlit无法连接

检查步骤：

1. 确认vLLM服务已启动
2. 检查OPENAI_API_BASE设置正确
3. 查看Chainlit日志：docker-compose logs chainlit

6. 进阶配置

6.1 性能调优

在docker-compose.yml中添加以下参数：

command: --model /models/Phi-3-mini-128k-instruct --tensor-parallel-size 2 --max-num-seqs 16 --gpu-memory-utilization 0.9

6.2 安全设置

建议添加API密钥验证：

environment:
  - OPENAI_API_KEY=your-secret-key

7. 总结

通过本教程，您已经成功部署了Phi-3-mini-128k-instruct模型，并搭建了基于Chainlit的交互界面。这套方案具有以下优势：

1. 一键部署：Docker Compose简化了部署流程
2. 资源高效：vLLM优化了GPU利用率
3. 交互友好：Chainlit提供了直观的聊天界面
4. 扩展性强：可轻松集成到现有系统中

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。