ChatGLM-6B Anaconda环境配置：一站式开发指南

1. 为什么选择Anaconda来配置ChatGLM-6B

刚开始接触大模型开发时，很多人会困惑：为什么不是直接用pip安装所有依赖？为什么需要专门创建虚拟环境？这其实源于ChatGLM-6B这类大模型对运行环境的特殊要求。

ChatGLM-6B虽然只有62亿参数，但它的依赖生态相当复杂。它需要特定版本的transformers、torch、accelerate等库，而这些库之间又存在严格的版本兼容性要求。我曾经在一台新机器上直接用pip安装，结果因为transformers版本太高导致模型加载失败，调试了整整一个下午才找到问题根源——这正是Anaconda能帮我们避免的典型陷阱。

Anaconda的优势在于它把整个Python环境当作一个整体来管理。当你创建一个独立的虚拟环境时，里面的所有包版本都是相互协调的，不会和系统其他项目产生冲突。更重要的是，Anaconda的conda-forge渠道提供了大量预编译好的科学计算包，包括针对不同GPU架构优化的PyTorch版本，这比从源码编译要省心太多。

对于ChatGLM-6B这种需要在CPU、GPU甚至Mac M系列芯片上都能运行的模型，Anaconda提供的跨平台一致性特别有价值。无论你是在Windows笔记本、Linux服务器还是MacBook上工作，只要按照同样的conda命令操作，就能获得几乎一致的开发体验。

2. 环境准备与基础配置

2.1 Anaconda安装与验证

如果你还没有安装Anaconda，建议直接下载最新版的Anaconda（而非Miniconda），因为它包含了更多开箱即用的数据科学工具。访问anaconda.com/downloads页面，根据你的操作系统选择对应版本。

安装完成后，打开终端（Windows用户使用Anaconda Prompt，不要用普通CMD），输入以下命令验证安装是否成功：

conda --version
python --version

如果看到类似conda 23.7.4和Python 3.9.18的输出，说明安装成功。注意，ChatGLM-6B官方推荐使用Python 3.8或3.9版本，不建议使用3.10以上版本，因为某些依赖包可能尚未完全适配。

2.2 创建专用虚拟环境

现在我们为ChatGLM-6B创建一个干净的虚拟环境。这里我推荐使用chatglm-env作为环境名称，这样一眼就能看出用途：

conda create -n chatglm-env python=3.9
conda activate chatglm-env

执行完第二条命令后，你会看到终端提示符前面多了(chatglm-env)字样，这表示你已经成功进入了这个隔离的环境。在这个环境中安装的所有包都不会影响系统其他Python项目。

2.3 配置国内镜像源加速

由于ChatGLM-6B需要下载大量依赖包，而这些包很多托管在国外服务器上，直接使用默认源可能会非常慢。我们可以为conda配置清华镜像源：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --set show_channel_urls yes

对于pip，同样配置国内源：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/

完成这些配置后，后续所有的包安装都会从国内镜像下载，速度会有明显提升。

3. 核心依赖安装与版本控制

3.1 PyTorch安装策略

PyTorch是ChatGLM-6B运行的基础，但它的安装方式需要根据你的硬件配置来决定。以下是三种常见场景的安装命令：

如果你有NVIDIA GPU（推荐）：

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

如果你只有CPU（适合测试和学习）：

conda install pytorch torchvision torchaudio cpuonly -c pytorch

如果你使用Mac M系列芯片：

conda install pytorch torchvision torchaudio -c pytorch-nightly

这里的关键是版本匹配。ChatGLM-6B官方文档明确指出，transformers库版本推荐为4.27.1，但不低于4.23.1即可。因此我们接下来要安装特定版本的transformers：

pip install transformers==4.27.1

3.2 安装ChatGLM-6B专用依赖

除了PyTorch和transformers，ChatGLM-6B还需要几个关键依赖。这些包在官方requirements.txt中都有列出，但我们需要逐个安装以确保版本正确：

pip install accelerate
pip install sentencepiece
pip install gradio
pip install streamlit
pip install mdtex2html
pip install cpm_kernels
pip install icetk

其中cpm_kernels和icetk是ChatGLM系列模型特有的分词器和内核优化包，不能用其他替代品。gradio和streamlit则是用来启动Web界面的，即使你暂时不打算用Web界面，也建议先安装好，因为它们的依赖关系比较复杂，提前安装可以避免后续问题。

3.3 验证环境完整性

安装完所有依赖后，运行以下Python代码来验证环境是否配置正确：

import torch
from transformers import AutoTokenizer, AutoModel

print("PyTorch版本:", torch.__version__)
print("CUDA可用:", torch.cuda.is_available())
if torch.cuda.is_available():
    print("CUDA设备数量:", torch.cuda.device_count())
    print("当前CUDA设备:", torch.cuda.get_device_name(0))

# 尝试加载tokenizer（不实际下载模型）
try:
    tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, local_files_only=True)
    print("Tokenizer加载成功")
except Exception as e:
    print("Tokenizer加载失败:", str(e))

如果看到PyTorch版本信息、CUDA可用性确认，以及"Tokenizer加载成功"的提示，说明你的基础环境已经搭建完成。注意，这里我们用了local_files_only=True参数，所以不会真正下载模型，只是验证依赖是否正常。

4. 模型获取与本地化部署

4.1 模型下载的多种方式

ChatGLM-6B模型文件大约13GB，直接从Hugging Face下载对网络要求较高。我整理了几种更可靠的下载方式：

方式一：使用Git LFS（推荐）

# 先安装Git LFS
git lfs install

# 克隆模型仓库（只下载指针文件）
git clone https://huggingface.co/THUDM/chatglm-6b

# 进入目录下载实际模型文件
cd chatglm-6b
git lfs pull

方式二：使用ModelScope（国内用户首选）

# 安装ModelScope
pip install modelscope

# 使用ModelScope下载
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

# 这会自动下载到缓存目录
pipe = pipeline(task=Tasks.text_generation, model='ZhipuAI/ChatGLM-6B')

方式三：离线下载（网络不稳定时） 访问https://huggingface.co/THUDM/chatglm-6b/tree/main 页面，手动下载所有.bin和.json文件，然后放入本地文件夹。

无论哪种方式，最终你都会得到一个包含以下关键文件的目录：

  • pytorch_model.bin（模型权重）
  • config.json（模型配置）
  • tokenizer.model（分词器文件）
  • configuration_chatglm.py（模型定义）

4.2 本地模型路径配置

为了后续使用方便，建议将模型放在一个固定位置。我通常会在用户主目录下创建models/chatglm-6b文件夹：

mkdir -p ~/models/chatglm-6b
# 将下载好的模型文件复制到这里
cp -r /path/to/downloaded/chatglm-6b/* ~/models/chatglm-6b/

然后创建一个简单的Python脚本来测试本地模型加载：

from transformers import AutoTokenizer, AutoModel
import os

# 指向本地模型路径
model_path = os.path.expanduser("~/models/chatglm-6b")

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True)

print("本地模型加载成功！")
print(f"模型参数量: {sum(p.numel() for p in model.parameters()) / 1e9:.1f}B")

如果看到"本地模型加载成功"和约6.2B的参数量输出，说明模型文件完整且可读。

4.3 量化模型的额外配置

对于显存有限的用户，ChatGLM-6B提供了INT4和INT8量化版本，能大幅降低显存占用。要使用量化模型，需要额外安装auto-gptq：

pip install auto-gptq

然后修改加载代码：

from transformers import AutoTokenizer, AutoModel
from auto_gptq import AutoGPTQForCausalLM

model_path = os.path.expanduser("~/models/chatglm-6b-int4")
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoGPTQForCausalLM.from_quantized(
    model_path,
    device="cuda:0",
    use_safetensors=True,
    trust_remote_code=True
)

注意，量化模型需要单独下载，不能对原始模型进行实时量化。INT4量化版只需约6GB显存，非常适合消费级显卡用户。

5. 实战：从零开始运行第一个对话

5.1 命令行交互式Demo

ChatGLM-6B官方提供了简洁的命令行Demo，这是验证环境是否完全正常的最佳方式。首先创建一个chat_demo.py文件：

from transformers import AutoTokenizer, AutoModel
import torch
import os

# 配置模型路径
model_path = os.path.expanduser("~/models/chatglm-6b")
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True)

# 根据硬件选择设备
device = "cuda" if torch.cuda.is_available() else "cpu"
model = model.to(device).half() if torch.cuda.is_available() else model.float()

model.eval()

print("ChatGLM-6B对话系统已启动！输入'quit'退出，'clear'清空历史。")
history = []

while True:
    try:
        user_input = input("\n你: ")
        if user_input.lower() == 'quit':
            print("再见！")
            break
        elif user_input.lower() == 'clear':
            history = []
            print("对话历史已清空")
            continue
        
        response, history = model.chat(tokenizer, user_input, history=history)
        print(f"ChatGLM: {response}")
        
    except KeyboardInterrupt:
        print("\n再见！")
        break
    except Exception as e:
        print(f"发生错误: {str(e)}")

保存后运行：

python chat_demo.py

首次运行时，模型会加载到显存中，可能需要30秒左右。之后每次对话响应都很迅速。你可以尝试问一些简单问题，比如"你好"、"今天天气怎么样"，观察模型的响应质量。

5.2 Web界面快速启动

如果你更喜欢图形界面，ChatGLM-6B提供了基于Gradio的Web Demo。创建web_demo.py：

import gradio as gr
from transformers import AutoTokenizer, AutoModel
import torch
import os

model_path = os.path.expanduser("~/models/chatglm-6b")
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True)

device = "cuda" if torch.cuda.is_available() else "cpu"
model = model.to(device).half() if torch.cuda.is_available() else model.float()
model.eval()

def chat(message, history):
    response, history = model.chat(tokenizer, message, history=history)
    return response, history

demo = gr.ChatInterface(
    fn=chat,
    title="ChatGLM-6B 对话助手",
    description="基于62亿参数的开源双语对话模型",
    examples=["你好", "请写一首关于春天的诗", "解释量子计算的基本原理"],
    retry_btn=None,
    undo_btn=None,
    clear_btn="清空对话"
)

if __name__ == "__main__":
    demo.launch(server_name="0.0.0.0", server_port=7860)

运行命令：

python web_demo.py

然后在浏览器中访问http://localhost:7860，就能看到一个简洁的聊天界面。这个界面支持多轮对话、历史记录等功能，比命令行更直观。

5.3 API服务部署

对于希望集成到其他应用的开发者，ChatGLM-6B还提供了API服务。创建api_server.py：

from fastapi import FastAPI, Request
from transformers import AutoTokenizer, AutoModel
import uvicorn
import torch
import os
import json
from datetime import datetime

app = FastAPI(title="ChatGLM-6B API服务")

model_path = os.path.expanduser("~/models/chatglm-6b")
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True)

device = "cuda" if torch.cuda.is_available() else "cpu"
model = model.to(device).half() if torch.cuda.is_available() else model.float()
model.eval()

@app.post("/chat")
async def chat_api(request: Request):
    data = await request.json()
    prompt = data.get("prompt", "")
    history = data.get("history", [])
    
    response, new_history = model.chat(tokenizer, prompt, history=history)
    
    return {
        "response": response,
        "history": new_history,
        "timestamp": datetime.now().isoformat()
    }

if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=8000, workers=1)

安装FastAPI：

pip install fastapi uvicorn

启动API服务：

python api_server.py

然后用curl测试：

curl -X POST "http://localhost:8000/chat" \
     -H "Content-Type: application/json" \
     -d '{"prompt": "你好", "history": []}'

你会收到JSON格式的响应，包含回复内容和更新后的对话历史。

6. 常见问题排查与优化建议

6.1 显存不足问题解决

即使使用INT4量化，有些用户仍会遇到显存不足的问题。这里有几个实用的解决方案：

方案一：启用梯度检查点

model = AutoModel.from_pretrained(
    model_path, 
    trust_remote_code=True,
    device_map="auto",
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16
)

方案二：限制最大序列长度

response, history = model.chat(
    tokenizer, 
    user_input, 
    history=history,
    max_length=1024,  # 默认是2048，减半可节省显存
    top_p=0.8,
    temperature=0.9
)

方案三：使用CPU卸载

from accelerate import init_empty_weights, load_checkpoint_and_dispatch

# 将部分层加载到CPU
model = load_checkpoint_and_dispatch(
    model, 
    model_path, 
    device_map="auto",
    offload_folder="offload",
    offload_state_dict=True
)

6.2 中文乱码与编码问题

有些用户在Windows系统上运行时会遇到中文显示乱码。这是因为Windows默认编码是GBK，而Python 3默认使用UTF-8。解决方案是在脚本开头添加：

import sys
import locale

# 强制设置UTF-8编码
if sys.platform == "win32":
    try:
        locale.setlocale(locale.LC_ALL, 'Chinese_China.65001')
    except:
        pass

或者在运行Python时指定编码：

python -X utf8 chat_demo.py

6.3 模型加载缓慢的优化

首次加载模型慢是正常现象，但可以通过以下方式优化：

预热模型： 在服务启动时执行一次空推理：

# 启动时预热
model.chat(tokenizer, "预热", history=[])

使用模型缓存： 设置环境变量：

export TRANSFORMERS_OFFLINE=1
export HF_HOME=~/cache/huggingface

精简模型： 如果只需要基础对话功能，可以删除不需要的文件：

# 删除vision相关文件（如果你不用多模态功能）
rm modeling_chatglm_vision.py
rm configuration_chatglm_vision.py

7. 总结与进阶方向

配置好ChatGLM-6B的Anaconda环境后，你会发现大模型开发并没有想象中那么神秘。从最初的环境混乱到现在的稳定运行，这个过程本身就是对现代AI开发流程的一次完整实践。我特别想强调的是，不要被"62亿参数"这样的数字吓到——通过量化技术和合理的资源配置，它完全可以在个人电脑上流畅运行。

在实际使用中，我发现几个值得分享的经验：第一，不要追求一步到位的完美配置，先让最简单的命令行Demo跑起来，再逐步添加Web界面和API服务；第二，模型文件很大，建议使用SSD存储，并预留足够的磁盘空间；第三，定期更新conda和pip，但不要盲目升级所有包，特别是transformers和PyTorch这类核心库。

如果你已经成功运行了基础Demo，下一步可以探索的方向包括：使用P-Tuning v2对模型进行轻量级微调，让它更适应你的业务场景；将ChatGLM-6B集成到企业微信或钉钉机器人中；或者结合LangChain构建基于知识库的问答系统。每个方向都有丰富的开源资源可供参考。

最重要的是保持动手的习惯。技术博客里看到的每一步操作，都值得你亲自敲一遍命令，观察每一行输出，理解每一个报错。当某天你不再需要照着教程操作，而是能根据错误信息快速定位问题时，你就真正掌握了这项技能。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

# 智能对话
Logo
https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

cover

当 AI 修图师装上“万能插头“：MCP 如何改变修图工作流

avatar AI编程社区
cover

2026年8月开发者实战指南：ChatGPT Plus / Pro + Codex 如何协同完成需求分析、编码、测试、调试与代码审查

avatar AI编程社区
cover

Claude API + Python实战：结构化输出后，如何拦住“看起来正确”的JSON

avatar AI编程社区