在本地部署大模型时，你是否也遇到过 CMake error、nmake 找不到、或者各种 C++ 编译报错的死循环？
特别是对于刚入门的开发者，安装一个 llama-cpp-python 可能比写代码本身还要痛苦。

今天，我将分享一套“零编译”的落地方案。完全放弃复杂的 C++ 扩展编译，利用 Hugging Face transformers 库的原生能力，在纯 CPU 环境下，手把手带你搭建一个基于 Django 的 Qwen（通义千问）AI大模型。这套方案的核心优势在于：只要你能运行 Python，你就能跑通这个项目。

🛠️ 核心架构与技术栈

• 模型：Qwen1.5-0.5B-Chat（轻量级，适合 CPU 推理测试）
• 推理后端：PyTorch (CPU版) + Transformers
• Web框架：Django 5.0 交互方式：
• 原生 HTML + Fetch API
• Python版本：Python 3.10.11

🚀 第一阶段：环境准备（避坑指南）

很多教程会忽略这一步，导致后续报错。请务必严格按照以下顺序操作。

1. 清理与安装
   首先，我们需要确保环境干净。如果你之前尝试安装 llama-cpp-python 失败了，请先卸载它，以免产生依赖冲突。
   打开命令行，执行以下“黄金指令”：

# 1. 卸载可能冲突的库
pip uninstall llama-cpp-python torch torchvision torchaudio -y

# 2. 安装纯 CPU 版本的 PyTorch (关键！避免下载巨大的 CUDA 包)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

# 3. 安装核心依赖
pip install transformers accelerate sentencepiece django

💡 关键点：使用 --index-url 指定 CPU 版 PyTorch 源，可以防止 pip 自动下载 GPU 版本导致的各种 CUDA 报错。

📂 第二阶段：Django 项目搭建

采用标准的 Django 项目结构，将模型文件“内嵌”到应用中，方便迁移。

1. 创建项目骨架

django-admin startproject ops_assistant
cd ops_assistant
python manage.py startapp chat

2. 准备模型文件

将模型文件夹直接放入 chat 应用目录中。

• 下载模型：去 Hugging Face 或 ModelScope(https://modelscope.cn/models/Qwen/Qwen1.5-0.5B-Chat) 下载 Qwen/Qwen1.5-0.5B-Chat 的所有文件。
• 放置位置：将下载好的文件夹重命名为 Qwen1.5-0.5B-Chat，并放入 项目\ops_assistant\chat\ 目录下。
  现在的目录结构应如下所示：

ops_assistant/
├── manage.py
├── chat/
│   ├── Qwen1.5-0.5B-Chat/  <-- 模型文件夹在这里
│   ├── qwen_bot.py         <-- 我们将要新建的推理脚本
│   ├── views.py
│   └── templates/chat/index.html

💻 第三阶段：核心代码实现

1. 编写推理引擎 (chat/qwen_bot.py)

这是整个项目的核心。利用 os.path 动态获取模型路径，这样无论你把项目拷贝到 D 盘还是服务器，代码都不需要修改。

import os
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from threading import Lock

# --- 核心修改开始 ---

# 1. 获取当前文件 (qwen_bot.py) 的绝对路径
CURRENT_DIR = os.path.dirname(os.path.abspath(__file__))

# 2. 拼接模型文件夹的路径
# os.path.join 会自动处理 Windows 的反斜杠和 Linux 的正斜杠
# Qwen1.5-0.5B-Chat Qwen1.5-1.8B-Chat 
MODEL_FOLDER_NAME = "Qwen1.5-1.8B-Chat"
MODEL_PATH = os.path.join(CURRENT_DIR, MODEL_FOLDER_NAME)

# --- 核心修改结束 ---

class QwenEngine:
    def __init__(self):
        self.model = None
        self.tokenizer = None
        self.lock = Lock()

    def load_model(self):
        if self.model is not None:
            return
        
        # 打印一下路径，方便调试，确认找对了地方
        print(f"🔍 正在查找模型路径: {MODEL_PATH}")
        
        # 检查文件夹是否存在，防止报错
        if not os.path.exists(MODEL_PATH):
            raise FileNotFoundError(f"❌ 模型文件夹未找到！请检查路径: {MODEL_PATH}")

        print("🚀 正在加载模型，请稍候...")
        
        device_map = "cpu"
        
        self.tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
        
        self.model = AutoModelForCausalLM.from_pretrained(
            MODEL_PATH,
            torch_dtype=torch.float32,
            device_map=device_map,
            low_cpu_mem_usage=True
        )
        print("✅ 模型加载完成！")

    def chat(self, user_input, history=[]):
        with self.lock:
            if not self.model:
                self.load_model()

            messages = history + [{"role": "user", "content": user_input}]
            
            text = self.tokenizer.apply_chat_template(
                messages,
                tokenize=False,
                add_generation_prompt=True
            )
            
            model_inputs = self.tokenizer([text], return_tensors="pt").to(self.model.device)

            generated_ids = self.model.generate(
                **model_inputs,
                max_new_tokens=256,
                temperature=0.7,
                do_sample=True,
                pad_token_id=self.tokenizer.eos_token_id
            )
            
            generated_ids = [
                output_ids[len(input_ids):] 
                for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
            ]
            
            response = self.tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
            return response

bot_engine = QwenEngine()

2. 编写视图 (chat/views.py)

from django.shortcuts import render
from django.http import JsonResponse
from django.views.decorators.csrf import csrf_exempt
from django.utils.decorators import method_decorator
import json
# 导入我们刚才写的模型
from .qwen_bot import bot_engine 

def index(request):
    """返回聊天页面"""
    return render(request, 'chat/index.html')

@csrf_exempt # 暂时关闭 CSRF 验证，方便测试
def chat_api(request):
    """处理聊天请求的 API"""
    if request.method == "POST":
        try:
            data = json.loads(request.body)
            user_msg = data.get('message', '')
            
            # 简单的运维人设提示词
            system_prompt = [
                {"role": "system", "content": "你是一个幽默的 IT 助手，回答要简短。"}
            ]
            
            # 调用模型
            reply = bot_engine.chat(user_msg, history=system_prompt)
            
            return JsonResponse({"status": "success", "reply": reply})
        
        except Exception as e:
            return JsonResponse({"status": "error", "reply": f"系统错误: {str(e)}"})
    
    return JsonResponse({"status": "error", "reply": "请发送 POST 请求"})

3. 前端页面 (chat/templates/chat/index.html)

为了简洁，使用原生 JS 和简单的 CSS。

<!DOCTYPE html>
<html>
<head>
    <title>CPU 运维助手</title>
    <style>
        body { font-family: sans-serif; padding: 20px; background: #f4f4f9; }
        .container { max-width: 600px; margin: 0 auto; background: #fff; padding: 20px; border-radius: 8px; box-shadow: 0 2px 10px rgba(0,0,0,0.1); }
        #chat-box { height: 400px; overflow-y: auto; border: 1px solid #ddd; margin-bottom: 10px; padding: 10px; }
        .msg { margin: 5px 0; padding: 8px 12px; border-radius: 5px; }
        .user { background: #007bff; color: white; text-align: right; }
        .bot { background: #e9ecef; color: #333; }
    </style>
</head>
<body>
    <div class="container">
        <h2>🤖 Qwen CPU 推理助手</h2>
        <div id="chat-box"></div>
        <input type="text" id="input" style="width: 70%; padding: 10px;" placeholder="输入问题...">
        <button onclick="send()" style="padding: 10px;">发送</button>
    </div>
    <script>
        async function send() {
            const input = document.getElementById('input');
            const box = document.getElementById('chat-box');
            const msg = input.value;
            if(!msg) return;

            // 显示用户消息
            box.innerHTML += `<div class="msg user">${msg}</div>`;
            input.value = '';

            // 显示加载中
            const loadingId = 'loading-' + Date.now();
            box.innerHTML += `<div class="msg bot" id="${loadingId}">思考中...</div>`;
            box.scrollTop = box.scrollHeight;

            // 发送请求
            const res = await fetch('/api/chat/', {
                method: 'POST',
                headers: {'Content-Type': 'application/json'},
                body: JSON.stringify({message: msg})
            });
            const data = await res.json();

            // 更新回复
            document.getElementById(loadingId).innerText = data.reply;
            box.scrollTop = box.scrollHeight;
        }
    </script>
</body>
</html>

⚙️ 第四阶段：配置与运行

1. 配置路由

在 ops_assistant/urls.py 中添加：

from django.contrib import admin
from django.urls import path, include

urlpatterns = [
    path('admin/', admin.site.urls),
    path('', include('chat.urls')), # 包含 chat 应用的 URL
]

在 chat 文件夹下新建 urls.py：

from django.urls import path
from . import views

urlpatterns = [
    path('', views.index, name='index'),
    path('api/chat/', views.chat_api, name='chat_api'),
]

2. 启动服务

回到命令行，执行数据库迁移（消除警告）并启动服务器：

python manage.py migrate
python manage.py runserver

📌 总结

访问 http://127.0.0.1:8000/，你将看到一个简洁的聊天界面。第一次发送消息时，后端会打印“正在加载模型”，大约需要 10-30 秒（取决于 CPU 性能），加载完成后即可流畅对话。
这套方案的优点：

• 极度稳定：完全避开了 C++ 编译环境依赖，没有 nmake 报错。
• 可移植性强：配合动态路径，整个项目文件夹可以直接拷贝到任何安装了Python 的 Windows 电脑上运行。
• 易于调试：纯 Python 代码，报错信息清晰易懂。
  虽然 CPU 推理速度不如 GPU，但对于开发测试、轻量级办公助手或教学演示来说，这绝对是性价比最高的落地姿势。