Ubuntu桌面版体验：Qwen2.5-VL本地开发环境搭建

1. 环境准备

在开始搭建Qwen2.5-VL开发环境前，我们需要确保系统满足基本要求。Ubuntu 20.04 LTS或22.04 LTS都是不错的选择，它们提供了稳定的基础环境。

1.1 硬件要求

• GPU：推荐NVIDIA显卡，至少8GB显存（RTX 3060及以上）
• 内存：建议16GB以上
• 存储空间：至少50GB可用空间（用于模型和依赖项）

1.2 系统更新

首先更新系统软件包：

sudo apt update && sudo apt upgrade -y

2. NVIDIA驱动安装

2.1 检查显卡信息

lspci | grep -i nvidia

2.2 安装推荐驱动

Ubuntu提供了简便的驱动安装方式：

sudo ubuntu-drivers autoinstall

安装完成后重启系统：

sudo reboot

2.3 验证驱动安装

nvidia-smi

如果看到类似下面的输出，说明驱动安装成功：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 535.86.05    Driver Version: 535.86.05    CUDA Version: 12.2     |
|-------------------------------+----------------------+----------------------+

3. CUDA和cuDNN安装

3.1 安装CUDA Toolkit

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda-repo-ubuntu2204-12-2-local_12.2.2-535.104.05-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-2-local_12.2.2-535.104.05-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-2-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda

3.2 配置环境变量

将以下内容添加到~/.bashrc文件末尾：

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

然后执行：

source ~/.bashrc

3.3 验证CUDA安装

nvcc --version

3.4 安装cuDNN

从NVIDIA官网下载对应版本的cuDNN，然后执行：

sudo dpkg -i libcudnn8_8.9.4.25-1+cuda12.2_amd64.deb
sudo dpkg -i libcudnn8-dev_8.9.4.25-1+cuda12.2_amd64.deb

4. Python环境配置

4.1 安装Miniconda

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

按照提示完成安装后，初始化conda：

source ~/.bashrc

4.2 创建虚拟环境

conda create -n qwen python=3.10 -y
conda activate qwen

5. Qwen2.5-VL安装与配置

5.1 安装基础依赖

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers==4.37.0
pip install accelerate

5.2 安装Qwen2.5-VL

pip install qwen-vl

5.3 下载模型权重

从Hugging Face或ModelScope下载Qwen2.5-VL模型权重：

git lfs install
git clone https://huggingface.co/Qwen/Qwen2.5-VL-7B

6. 开发工具链配置

6.1 安装Jupyter Lab

pip install jupyterlab

6.2 安装VS Code（可选）

sudo apt install code

6.3 安装常用开发工具

sudo apt install git curl wget htop tmux

7. 验证环境

创建一个简单的Python脚本test_qwen.py：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Qwen/Qwen2.5-VL-7B"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    trust_remote_code=True
).eval()

response, _ = model.chat(tokenizer, "你好", history=None)
print(response)

运行脚本：

python test_qwen.py

如果看到模型生成的回复，说明环境配置成功。

8. 常见问题解决

8.1 CUDA版本不匹配

如果遇到CUDA版本问题，可以尝试：

conda install cuda -c nvidia/label/cuda-12.2.2

8.2 显存不足

对于显存较小的GPU，可以尝试量化模型：

model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    trust_remote_code=True,
    load_in_4bit=True
).eval()

8.3 依赖冲突

如果遇到依赖冲突，建议创建新的conda环境并重新安装。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。