Qwen3-4B-Thinking-2507-Gemini-2.5-Flash-Distill教程：在VMware虚拟机中搭建完整的AI模型开发与测试环境

1. 准备工作与环境搭建

在开始之前，我们需要准备好必要的软件和硬件资源。首先确保你的主机满足以下基本要求：

• 硬件配置：建议至少16GB内存（32GB更佳），100GB以上可用磁盘空间，支持虚拟化的CPU（Intel VT-x或AMD-V）
• 软件准备：最新版VMware Workstation Pro（16或17版本均可），Ubuntu 22.04 LTS镜像文件

安装VMware Workstation的过程相对简单，只需按照安装向导一步步操作即可。这里我们重点讲解虚拟机的创建和配置：

1. 打开VMware Workstation，点击"创建新的虚拟机"
2. 选择"自定义(高级)"配置
3. 虚拟机硬件兼容性选择Workstation 16.x或17.x
4. 选择"稍后安装操作系统"
5. 客户机操作系统选择Linux，版本选择Ubuntu 64位
6. 为虚拟机命名并选择存储位置（建议放在SSD上）
7. 处理器配置：至少2个核心（4个更佳）
8. 内存分配：建议8GB起步（16GB更佳）
9. 网络类型选择NAT（便于联网）
10. I/O控制器类型保持默认
11. 磁盘类型选择SCSI
12. 创建新虚拟磁盘，大小建议80GB以上，选择"将虚拟磁盘存储为单个文件"
13. 完成创建后，在虚拟机设置中加载Ubuntu ISO镜像

2. Ubuntu系统安装与基础配置

启动虚拟机后，按照以下步骤完成Ubuntu系统的安装：

1. 选择"Install Ubuntu"
2. 语言选择English（或其他你熟悉的语言）
3. 键盘布局保持默认
4. 网络连接建议跳过（安装完成后再配置）
5. 安装类型选择"Normal installation"，并勾选"Install third-party software"
6. 分区选择"Erase disk and install Ubuntu"（这是虚拟机，可以放心操作）
7. 设置时区（选择你所在的地区）
8. 创建用户账户（记住你设置的用户名和密码）
9. 等待安装完成，重启虚拟机

系统安装完成后，首先进行基础配置：

# 更新软件源
sudo apt update && sudo apt upgrade -y

# 安装常用工具
sudo apt install -y git curl wget build-essential cmake

# 安装SSH服务（可选）
sudo apt install -y openssh-server
sudo systemctl enable --now ssh

3. GPU驱动与CUDA环境配置

如果你的主机有NVIDIA GPU，可以在虚拟机中启用直通功能（需要BIOS中开启VT-d/AMD-Vi支持）。不过更常见的方式是在虚拟机内安装CUDA工具包：

1. 首先检查虚拟机是否识别到了GPU：

lspci | grep -i nvidia

2. 安装NVIDIA驱动（如果使用直通模式）：

# 添加官方PPA
sudo add-apt-repository ppa:graphics-drivers/ppa -y
sudo apt update

# 查找推荐的驱动版本
ubuntu-drivers devices

# 安装推荐驱动
sudo apt install -y nvidia-driver-535

3. 安装CUDA Toolkit 12.1：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda-repo-ubuntu2204-12-1-local_12.1.0-530.30.02-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-1-local_12.1.0-530.30.02-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-1-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda

4. 配置环境变量：

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

4. Python环境与依赖安装

建议使用conda管理Python环境：

1. 安装Miniconda：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh
# 按照提示完成安装
source ~/.bashrc

2. 创建专用环境：

conda create -n qwen python=3.10 -y
conda activate qwen

3. 安装PyTorch与相关依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers accelerate sentencepiece einops tiktoken

5. Qwen3-4B-Thinking模型部署

现在我们可以开始部署Qwen3-4B-Thinking模型了：

1. 克隆模型仓库：

git clone https://github.com/QwenLM/Qwen-7B.git
cd Qwen-7B

2. 下载模型权重（确保你有足够的磁盘空间）：

# 使用huggingface-cli下载（需要先登录）
pip install huggingface-hub
huggingface-cli login
huggingface-cli download Qwen/Qwen-7B --local-dir ./model

3. 创建测试脚本inference.py：

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"  # 使用GPU

tokenizer = AutoTokenizer.from_pretrained("./model", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "./model",
    device_map="auto",
    trust_remote_code=True
).eval()

response, history = model.chat(tokenizer, "你好，介绍一下你自己", history=[])
print(response)

4. 运行测试：

python inference.py

6. 常见问题与解决方案

在搭建过程中可能会遇到以下问题：

• 虚拟机性能问题：如果感觉虚拟机运行缓慢，可以尝试以下优化：

  • 在VMware设置中启用3D加速
  • 分配更多CPU核心和内存
  • 使用SSD存储
  • 关闭不必要的图形效果

• CUDA安装失败：确保安装了正确版本的驱动和CUDA工具包，检查gcc版本是否兼容

• 模型加载内存不足：Qwen3-4B-Thinking需要较大内存，可以尝试：

  • 增加虚拟机内存分配
  • 使用量化版本的模型
  • 调整模型加载参数（如device_map="auto"）

• 网络连接问题：确保虚拟机网络设置正确，可以尝试：

  • 检查NAT网络配置
  • 临时关闭防火墙测试
  • 使用桥接模式（如果网络环境允许）

7. 总结与下一步建议

通过本教程，我们成功在VMware虚拟机中搭建了一个完整的AI模型开发环境，从Ubuntu系统安装到Qwen3-4B-Thinking模型的部署运行。这个环境非常适合学习和实验，因为它与主机系统隔离，不会影响你的日常工作环境。

实际使用下来，虚拟机的性能虽然不如物理机直接运行，但对于学习和测试目的已经足够。特别是在内存分配足够的情况下，运行7B规模的模型还是可以接受的。如果你需要更高性能，可以考虑直接在物理机上安装双系统，或者使用云服务器。

下一步，你可以尝试在这个环境中：

• 测试模型的不同参数设置
• 尝试微调模型以适应特定任务
• 开发基于Qwen的应用程序
• 探索与其他AI工具的集成

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。