Phi-3.5-mini-instruct部署教程：conda env torch28+protobuf 7.34.1兼容验证

1. 模型简介

Phi-3.5-mini-instruct是微软推出的轻量级开源指令微调大模型，在长上下文代码理解（RepoQA）、多语言MMLU等基准测试中表现优异。该模型显著超越同规模模型，部分任务性能甚至优于更大规模的模型。

主要特点：

• 轻量化部署友好
• 4090单卡即可运行
• 显存占用约7GB
• 适合本地/边缘部署

2. 环境准备

2.1 硬件配置要求

• GPU：NVIDIA GeForce RTX 4090 D（23GB VRAM）
• 显存占用：约7.7GB
• 模型大小：约7.6GB

2.2 软件环境准备

推荐使用conda创建虚拟环境：

conda create -n torch28 python=3.9
conda activate torch28

安装核心依赖：

pip install torch==2.8.0+cu128
pip install transformers==4.57.6
pip install protobuf==7.34.1
pip install gradio==6.6.0

3. 项目部署

3.1 项目结构

/root/Phi-3.5-mini-instruct/
├── webui.py              # Gradio WebUI主程序
├── logs/
│   ├── phi35.log         # stdout日志
│   └── phi35.err         # stderr日志

3.2 模型路径

• 模型路径：/root/ai-models/AI-ModelScope/Phi-3___5-mini-instruct
• 访问地址：http://localhost:7860

4. 服务管理

4.1 Supervisor配置

配置文件位置：/etc/supervisor/conf.d/phi-3.5-mini-instruct.conf

[program:phi-3.5-mini-instruct]
command=/opt/miniconda3/envs/torch28/bin/python /root/Phi-3.5-mini-instruct/webui.py
directory=/root/Phi-3.5-mini-instruct
user=root
autostart=true
autorestart=true
stdout_logfile=/root/Phi-3.5-mini-instruct/logs/phi35.log
stderr_logfile=/root/Phi-3.5-mini-instruct/logs/phi35.err
environment=PATH="/opt/miniconda3/envs/torch28/bin:%(ENV_PATH)s"

4.2 服务控制命令

查看服务状态：

supervisorctl status phi-3.5-mini-instruct

启动服务：

supervisorctl start phi-3.5-mini-instruct

停止服务：

supervisorctl stop phi-3.5-mini-instruct

重启服务：

supervisorctl restart phi-3.5-mini-instruct

5. 参数配置

5.1 生成参数说明

参数	默认值	说明
max_length	256	最大生成长度
temperature	0.3	温度，越低越确定
top_p	0.8	核采样概率
top_k	20	Top-k采样
repetition_penalty	1.1	重复惩罚

5.2 API测试

curl -X POST http://localhost:7860/gradio_api/call/generate \
  -H "Content-Type: application/json" \
  -d '{"data":["Hello",256,0.3,0.8,20,1.1]}'

6. 常见问题解决

6.1 transformers 5.5.0 Bug修复

问题现象： 生成时报错'DynamicCache' object has no attribute 'seen_tokens'

解决方案：

1. 降级transformers：

pip install "transformers<5.0.0"

2. 在生成时添加参数：

use_cache=False

注意事项： 如果需要升级transformers，请先测试兼容性。

6.2 其他常见问题

Q: 服务启动失败怎么办？ A: 检查日志：

tail /root/Phi-3.5-mini-instruct/logs/phi35.err

Q: GPU未被使用？ A: 确认CUDA可用：

python -c "import torch; print(torch.cuda.is_available())"

Q: 生成结果太长？ A: 降低temperature到0.1-0.3，或降低max_length

7. 监控与维护

7.1 日志查看

• stdout日志：/root/Phi-3.5-mini-instruct/logs/phi35.log
• stderr日志：/root/Phi-3.5-mini-instruct/logs/phi35.err

实时查看日志：

tail -f /root/Phi-3.5-mini-instruct/logs/phi35.log

7.2 GPU监控

nvidia-smi --query-gpu=memory.used,utilization.gpu --format=csv

7.3 端口检查

ss -tlnp | grep 7860

8. 总结

本教程详细介绍了Phi-3.5-mini-instruct模型的部署过程，包括环境准备、服务管理、参数配置和常见问题解决。该模型在轻量级部署场景下表现出色，适合需要本地或边缘部署的应用场景。

通过本教程，您应该能够：

1. 成功搭建Phi-3.5-mini-instruct运行环境
2. 掌握服务启动和管理方法
3. 了解关键参数配置
4. 解决常见部署问题

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。