ChatGLM-6B在Anaconda环境中的一键部署

1. 为什么选择Anaconda来部署ChatGLM-6B

当你第一次听说ChatGLM-6B这个模型时，可能会被它62亿参数的规模吓到，但其实它的设计初衷就是让普通开发者也能轻松上手。我刚开始接触它的时候，也以为需要复杂的GPU配置和繁琐的环境搭建，结果发现用Anaconda反而成了最省心的选择。

Anaconda之所以特别适合部署ChatGLM-6B，是因为它能帮你一次性解决三个最头疼的问题：依赖冲突、Python版本管理，还有不同项目间的环境隔离。你可能遇到过这样的情况——装了一个包，结果把之前项目搞崩了；或者系统Python版本太低，新模型跑不起来。这些问题在Anaconda里都有成熟的解决方案。

更重要的是，ChatGLM-6B对硬件的要求其实比想象中友好。官方文档明确指出，通过INT4量化技术，最低只需要6GB显存就能运行，这意味着很多消费级显卡甚至高端笔记本都能胜任。而Anaconda的环境管理能力，正好能让你在不同量化级别间自由切换，不用反复重装整个系统。

我自己的实践经历是，用Anaconda创建的独立环境部署ChatGLM-6B后，不仅避免了与本地其他Python项目的冲突，还让我能快速测试FP16、INT8和INT4三种精度下的效果差异。这种灵活性在实际开发中真的节省了不少时间。

2. 环境准备与虚拟环境创建

在开始部署之前，先确认你的系统已经安装了Anaconda或Miniconda。如果你还没有安装，建议直接去官网下载最新版的Anaconda，它包含了所有必要的工具，比单独安装Miniconda再补全组件要省事得多。

打开终端（Windows用户用Anaconda Prompt，Mac/Linux用户用普通终端），首先检查Anaconda是否正常工作：

conda --version

如果看到类似conda 23.10.0的输出，说明安装成功。接下来创建一个专门用于ChatGLM-6B的虚拟环境。这里我推荐使用Python 3.9，因为这是目前与ChatGLM-6B兼容性最好的版本：

conda create -n chatglm-env python=3.9

创建完成后，激活这个新环境：

conda activate chatglm-env

你会注意到命令行提示符前面多了一个(chatglm-env)，这表示你现在处于这个独立的环境中。接下来安装必要的基础依赖。虽然ChatGLM-6B的官方要求是transformers库版本不低于4.23.1，但经过多次测试，我发现4.27.1版本最为稳定：

pip install transformers==4.27.1 torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

注意，上面的命令是针对NVIDIA GPU用户的CUDA 11.8版本。如果你用的是AMD显卡或CPU，需要替换为对应的版本。比如CPU用户应该用：

pip install transformers==4.27.1 torch==2.0.1+cpu torchvision==0.15.2+cpu --extra-index-url https://download.pytorch.org/whl/cpu

安装完成后，验证一下PyTorch是否能正确识别你的GPU：

python -c "import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.device_count())"

如果输出显示True和设备数量，说明GPU支持已经就绪。这一步很关键，因为很多部署失败都是因为PyTorch没有正确安装对应的CUDA版本。

3. 模型下载与本地化配置

ChatGLM-6B的模型文件比较大，直接从Hugging Face下载可能会遇到网络不稳定的问题。我建议采用"分步下载"的策略，先下载代码仓库，再单独处理模型文件。

首先克隆官方代码仓库：

git clone https://github.com/THUDM/ChatGLM-6B.git
cd ChatGLM-6B

现在到了最关键的一步——模型下载。官方提供了多种下载渠道，我推荐按这个优先级尝试：

首选方案：使用ModelScope（魔搭）

pip install modelscope
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from modelscope.models import Model

# 下载模型到本地
model = Model.from_pretrained("ZhipuAI/chatglm-6b", model_revision="v1.0.16")
model.save_pretrained("./chatglm-6b-local")

备选方案：Hugging Face镜像站 如果ModelScope也不稳定，可以试试清华源：

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b
cd chatglm-6b
# 手动下载模型文件
wget https://huggingface.co/THUDM/chatglm-6b/resolve/main/pytorch_model.bin
wget https://huggingface.co/THUDM/chatglm-6b/resolve/main/config.json
wget https://huggingface.co/THUDM/chatglm-6b/resolve/main/tokenizer.model

下载完成后，你需要修改几个关键文件的路径引用。打开web_demo2.py，找到第33行左右，将原来的模型路径改为本地路径：

# 修改前
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

# 修改后（假设模型放在同级目录的chatglm-6b-local文件夹）
tokenizer = AutoTokenizer.from_pretrained("./chatglm-6b-local", trust_remote_code=True)
model = AutoModel.from_pretrained("./chatglm-6b-local", trust_remote_code=True).half().cuda()

这个本地化配置非常重要。我在实际部署中发现，很多初学者卡在这一步，因为网络问题导致模型下载不完整，而直接使用远程路径又会反复失败。本地化后，不仅启动速度快，而且每次运行都更加稳定。

4. 一键部署脚本编写与执行

为了真正实现"一键部署"，我为你准备了一个完整的部署脚本。这个脚本整合了环境检查、依赖安装、模型验证和Web服务启动的所有步骤。

创建一个名为deploy_chatglm.sh的文件（Windows用户创建deploy_chatglm.bat）：

#!/bin/bash
# deploy_chatglm.sh - ChatGLM-6B Anaconda一键部署脚本

echo "=== ChatGLM-6B Anaconda一键部署开始 ==="

# 检查conda是否可用
if ! command -v conda &> /dev/null; then
    echo "错误：未找到conda命令，请先安装Anaconda或Miniconda"
    exit 1
fi

# 创建并激活环境
echo "正在创建chatglm-env环境..."
conda create -n chatglm-env python=3.9 -y
conda activate chatglm-env

# 安装基础依赖
echo "正在安装PyTorch和Transformers..."
pip install transformers==4.27.1 torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install gradio streamlit sentencepiece cpm_kernels mdtex2html accelerate

# 克隆代码仓库
echo "正在克隆ChatGLM-6B代码..."
if [ ! -d "ChatGLM-6B" ]; then
    git clone https://github.com/THUDM/ChatGLM-6B.git
fi

# 下载模型（简化版，使用INT4量化模型减少下载量）
echo "正在下载INT4量化模型..."
pip install modelscope
python -c "
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from modelscope.models import Model
model = Model.from_pretrained('ZhipuAI/chatglm-6b-int4', model_revision='v1.0.16')
model.save_pretrained('./chatglm-6b-int4')
"

# 修改web_demo2.py以使用本地模型
echo "正在配置本地模型路径..."
sed -i 's/THUDM\/chatglm-6b/..\/chatglm-6b-int4/g' ChatGLM-6B/web_demo2.py
sed -i 's/.half().cuda()/.quantize(4).half().cuda()/g' ChatGLM-6B/web_demo2.py

echo "=== 部署完成！启动Web服务 ==="
cd ChatGLM-6B
export STREAMLIT_SERVER_HEADLESS=1
streamlit run web_demo2.py --server.port 7860

对于Windows用户，对应的批处理文件内容如下：

@echo off
echo === ChatGLM-6B Anaconda一键部署开始 ===

:: 检查conda
where conda >nul 2>&1
if %errorlevel% neq 0 (
    echo 错误：未找到conda命令，请先安装Anaconda或Miniconda
    pause
    exit /b 1
)

:: 创建环境
echo 正在创建chatglm-env环境...
call conda create -n chatglm-env python=3.9 -y

:: 激活环境并安装依赖
call conda activate chatglm-env
pip install transformers==4.27.1 torch==2.0.1+cpu torchvision==0.15.2+cpu --extra-index-url https://download.pytorch.org/whl/cpu
pip install gradio streamlit sentencepiece cpm_kernels mdtex2html accelerate

:: 克隆代码
if not exist "ChatGLM-6B" (
    echo 正在克隆ChatGLM-6B代码...
    git clone https://github.com/THUDM/ChatGLM-6B.git
)

:: 下载INT4模型
echo 正在下载INT4量化模型...
pip install modelscope
python -c "from modelscope.models import Model; model = Model.from_pretrained('ZhipuAI/chatglm-6b-int4', model_revision='v1.0.16'); model.save_pretrained('./chatglm-6b-int4')"

:: 修改配置
echo 正在配置本地模型路径...
powershell -Command "(Get-Content ChatGLM-6B\web_demo2.py) -replace 'THUDM/chatglm-6b', '..\chatglm-6b-int4' | Set-Content ChatGLM-6B\web_demo2.py"
powershell -Command "(Get-Content ChatGLM-6B\web_demo2.py) -replace '.half().cuda()', '.quantize(4).half().cuda()' | Set-Content ChatGLM-6B\web_demo2.py"

echo === 部署完成！启动Web服务 ===
cd ChatGLM-6B
set STREAMLIT_SERVER_HEADLESS=1
streamlit run web_demo2.py --server.port 7860

保存脚本后，给它添加执行权限（Linux/Mac）：

chmod +x deploy_chatglm.sh
./deploy_chatglm.sh

脚本执行过程中，你会看到清晰的进度提示。整个过程大约需要15-30分钟，主要时间消耗在模型下载上。当看到类似You can now view your Streamlit app in your browser的提示时，说明部署成功了。

5. Web界面使用与基础对话测试

部署完成后，打开浏览器访问http://localhost:7860，你会看到一个简洁的Web界面。这个界面就是ChatGLM-6B的交互入口，不需要任何编程知识就能开始使用。

初次使用时，我建议先进行几个基础测试，确保一切正常工作：

测试1：基础问候 在输入框中输入"你好"，点击发送。正常情况下，你应该看到类似这样的回复：

你好👋！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。

测试2：中文问答 输入"北京的天气怎么样？"，观察回复是否合理。虽然ChatGLM-6B没有实时联网功能，但它对常识性问题的回答通常很准确。

测试3：多轮对话 继续输入"那上海呢？"，注意看它是否能理解上下文，而不是重复回答北京的情况。良好的上下文理解是判断部署是否成功的标志之一。

如果你发现响应特别慢，可能是显存不足导致的。这时可以回到命令行，用Ctrl+C停止当前服务，然后修改启动命令，增加量化级别：

# 对于显存紧张的情况，改用INT4量化
cd ChatGLM-6B
python -c "
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('../chatglm-6b-int4', trust_remote_code=True)
model = AutoModel.from_pretrained('../chatglm-6b-int4', trust_remote_code=True).float()
model = model.eval()
response, history = model.chat(tokenizer, '你好', history=[])
print(response)
"

这个命令会直接在命令行测试模型，绕过Web界面的开销，帮助你快速诊断问题。

6. 常见问题与实用技巧

在实际使用过程中，我遇到了一些常见问题，也积累了一些实用技巧，分享给你：

问题1：显存不足报错 最常见的错误是CUDA out of memory。解决方案很简单：在web_demo2.py中找到模型加载部分，将.half().cuda()改为.quantize(4).half().cuda()。INT4量化能让显存占用从13GB降到6GB，对大多数用户来说足够了。

问题2：中文乱码或显示异常 这通常是因为缺少中文字体支持。在Streamlit配置中添加字体设置：

echo "[theme]" >> ~/.streamlit/config.toml
echo "font = \"sans-serif\"" >> ~/.streamlit/config.toml
echo "primaryColor = \"#F63366\"" >> ~/.streamlit/config.toml

问题3：启动后无法访问 检查端口是否被占用。可以修改启动端口：

streamlit run web_demo2.py --server.port 8080

实用技巧1：快速切换模型 我习惯在项目根目录下创建几个快捷脚本：

  • start-fp16.sh：启动高精度模式（需要13GB+显存）
  • start-int4.sh：启动低显存模式（6GB显存即可）
  • start-cpu.sh：纯CPU模式（需要32GB内存）

实用技巧2：自定义提示词模板 在web_demo2.py中，你可以修改默认的system prompt来改变模型性格。比如想让它更专业，可以改成：

history = [["system", "你是一个专业的技术顾问，回答问题要准确、简洁、有依据。"]]

实用技巧3：保存对话历史 虽然Web界面没有自动保存功能，但你可以在代码中添加简单的日志记录：

import datetime
def log_conversation(user_input, bot_response):
    with open("chat_history.log", "a") as f:
        f.write(f"[{datetime.datetime.now()}] User: {user_input}\n")
        f.write(f"[{datetime.datetime.now()}] Bot: {bot_response}\n\n")

这些技巧都是我在实际项目中反复验证过的，能显著提升使用体验。记住，部署只是第一步，真正的价值在于如何根据你的具体需求调整和优化。

7. 进阶应用与扩展方向

当你熟悉了基础部署后，可以考虑几个实用的进阶方向：

方向1：API服务化 将ChatGLM-6B封装成REST API，方便其他程序调用。ChatGLM-6B自带的api.py文件就是为此设计的。只需简单修改：

cd ChatGLM-6B
pip install fastapi uvicorn
uvicorn api:app --host 0.0.0.0 --port 8000

然后就可以用curl测试：

curl -X POST "http://localhost:8000" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "写一首关于春天的诗", "history": []}'

方向2：集成到现有工作流 比如在Jupyter Notebook中直接调用：

from transformers import AutoTokenizer, AutoModel
import torch

tokenizer = AutoTokenizer.from_pretrained("./chatglm-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("./chatglm-6b-int4", trust_remote_code=True).quantize(4).half().cuda()
model = model.eval()

def chat_with_glm(prompt, history=[]):
    response, history = model.chat(tokenizer, prompt, history=history)
    return response, history

# 在Notebook中直接使用
response, _ = chat_with_glm("解释一下量子计算的基本原理")
print(response)

方向3：轻量级桌面应用 用Gradio创建一个更美观的界面：

pip install gradio

然后创建app.py：

import gradio as gr
from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("./chatglm-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("./chatglm-6b-int4", trust_remote_code=True).quantize(4).half().cuda()
model = model.eval()

def predict(message, history):
    response, history = model.chat(tokenizer, message, history=history)
    return response, history

gr.ChatInterface(predict).launch()

这些扩展方向都不需要重新部署，只需要在现有环境中添加几行代码。关键是找到最适合你工作场景的方式，而不是追求最复杂的功能。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

# 智能对话
Logo
https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

cover

当 AI 修图师装上“万能插头“：MCP 如何改变修图工作流

avatar AI编程社区
cover

2026年8月开发者实战指南：ChatGPT Plus / Pro + Codex 如何协同完成需求分析、编码、测试、调试与代码审查

avatar AI编程社区
cover

Claude API + Python实战：结构化输出后，如何拦住“看起来正确”的JSON

avatar AI编程社区