ChatGLM3-6B-128K在中小企业落地案例：Ollama部署知识库问答系统全流程

肖宏辉

173人浏览 · 2026-03-09 01:20:40

肖宏辉 · 2026-03-09 01:20:40 发布

ChatGLM3-6B-128K在中小企业落地案例：Ollama部署知识库问答系统全流程

1. 项目背景与需求分析

中小企业在日常运营中经常面临这样的问题：公司内部有大量的产品文档、技术资料、客户案例等知识资产，但员工很难快速找到需要的信息。传统的文档管理系统搜索效率低，而专业的知识库系统又成本高昂。

ChatGLM3-6B-128K的出现为这个问题提供了完美的解决方案。这个模型最大的特点是能够处理长达128K的上下文，这意味着它可以一次性"阅读"和理解大量的文档内容，然后基于这些内容给出准确的回答。

相比于标准版的ChatGLM3-6B，128K版本在处理长文档方面有明显优势。如果你的文档内容通常在8K长度以内，标准版就够用了；但如果需要处理更长的技术文档、产品手册或复杂的项目资料，128K版本就是更好的选择。

2. 环境准备与Ollama部署

2.1 系统要求与准备

在开始部署之前，需要确保你的服务器满足以下基本要求：

操作系统：Linux Ubuntu 18.04+ 或 CentOS 7+
内存：至少16GB RAM（推荐32GB以获得更好性能）
存储：50GB可用磁盘空间
GPU：可选，但如果有NVIDIA GPU会显著提升推理速度

2.2 Ollama安装与配置

Ollama的安装过程非常简单，只需要几个命令：

# 下载并安装Ollama
curl -fsSL https://ollama.ai/install.sh | sh

# 启动Ollama服务
ollama serve

# 验证安装是否成功
ollama --version

安装完成后，Ollama会作为一个后台服务运行，默认监听11434端口。你可以通过系统状态命令检查服务是否正常运行。

2.3 部署ChatGLM3-6B-128K模型

现在开始部署核心的AI模型：

# 拉取ChatGLM3-6B-128K模型
ollama pull entropyyue/chatglm3

# 验证模型是否下载成功
ollama list

这个过程可能会花费一些时间，因为模型文件比较大（约12GB）。下载完成后，你就拥有了一个可以处理长文档的AI助手。

3. 知识库系统搭建实战

3.1 文档预处理与导入

知识库系统的核心是将企业文档转化为AI可以理解的形式。我们需要先准备文档：

import os
import json
from pathlib import Path

def prepare_documents(doc_folder, output_file):
    """
    将文件夹中的文档转换为知识库格式
    """
    knowledge_base = []
    
    # 支持多种文档格式
    supported_extensions = ['.txt', '.pdf', '.docx', '.md']
    
    for file_path in Path(doc_folder).rglob('*'):
        if file_path.suffix.lower() in supported_extensions:
            try:
                content = read_document(file_path)
                knowledge_base.append({
                    "title": file_path.name,
                    "content": content,
                    "path": str(file_path)
                })
            except Exception as e:
                print(f"处理文件 {file_path} 时出错: {e}")
    
    # 保存知识库
    with open(output_file, 'w', encoding='utf-8') as f:
        json.dump(knowledge_base, f, ensure_ascii=False, indent=2)
    
    return knowledge_base

3.2 问答系统集成

接下来创建主要的问答处理逻辑：

import requests
import json

class KnowledgeBaseQA:
    def __init__(self, ollama_url="http://localhost:11434"):
        self.ollama_url = ollama_url
        self.knowledge_base = []
    
    def load_knowledge(self, knowledge_file):
        """加载知识库数据"""
        with open(knowledge_file, 'r', encoding='utf-8') as f:
            self.knowledge_base = json.load(f)
    
    def search_relevant_docs(self, query, top_k=5):
        """搜索最相关的文档片段"""
        # 简单的关键词匹配，实际中可以改用向量搜索
        relevant_docs = []
        for doc in self.knowledge_base:
            if query.lower() in doc['content'].lower():
                relevant_docs.append(doc)
            if len(relevant_docs) >= top_k:
                break
        return relevant_docs
    
    def generate_answer(self, query):
        """生成基于知识库的回答"""
        # 1. 搜索相关文档
        relevant_docs = self.search_relevant_docs(query)
        
        # 2. 构建提示词
        context = "\n\n".join([f"文档: {doc['title']}\n内容: {doc['content'][:2000]}..." 
                              for doc in relevant_docs])
        
        prompt = f"""基于以下公司文档内容，请回答用户的问题。如果文档中没有相关信息，请如实告知。

相关文档内容：
{context}

用户问题：{query}

请提供准确、有帮助的回答："""
        
        # 3. 调用ChatGLM3生成回答
        response = requests.post(
            f"{self.ollama_url}/api/generate",
            json={
                "model": "entropyyue/chatglm3",
                "prompt": prompt,
                "stream": False
            }
        )
        
        return response.json()['response']

4. 实际应用案例展示

4.1 技术文档查询

假设一家软件开发公司有大量的API文档和技术手册。员工可以这样提问：

"我们的支付接口在处理退款时有哪些限制条件？"

系统会搜索所有相关的技术文档，找到支付接口的相关说明，然后生成详细的回答，包括限制金额、时间要求、特殊情况处理等。

4.2 产品信息咨询

对于销售团队来说，快速获取产品信息至关重要：

"产品A和企业版产品B的主要区别是什么？支持哪些部署方式？"

系统会从产品手册、规格说明等文档中提取信息，给出对比表格式的清晰回答。

4.3 客户支持场景

客服人员遇到复杂问题时：

"客户反映在Linux系统上安装我们的软件时出现依赖错误，应该如何解决？"

系统会从技术支持文档、已知问题库中查找解决方案，提供详细的排查步骤和解决方法。

5. 系统优化与使用建议

5.1 性能优化技巧

为了让系统运行更加高效，可以考虑以下优化措施：

# 设置Ollama的并行处理参数
export OLLAMA_NUM_PARALLEL=4
export OLLAMA_MAX_LOADED_MODELS=2

# 使用GPU加速（如果有NVIDIA显卡）
export CUDA_VISIBLE_DEVICES=0

5.2 提示词工程优化

好的提示词能显著提升回答质量：

def build_optimized_prompt(query, context_docs):
    """构建优化的提示词"""
    context = "\n".join([f"[文档: {doc['title']}]\n{doc['content'][:1500]}..." 
                        for doc in context_docs])
    
    return f"""你是一个专业的企业知识库助手。请严格基于提供的文档内容回答问题。

文档内容：
{context}

请遵守以下规则：
1. 只使用提供文档中的信息，不要添加外部知识
2. 如果文档中没有相关信息，直接回答"文档中没有找到相关信息"
3. 回答要准确、简洁、专业
4. 引用具体的文档来源

问题：{query}

回答："""

5.3 安全性与权限管理

在企业环境中，还需要考虑安全性：

def add_access_control(qa_system, user_roles):
    """添加基本的权限控制"""
    def secured_generate_answer(user_role, query):
        if user_role not in user_roles:
            return "权限不足，无法访问知识库"
        
        # 可以根据角色过滤敏感文档
        filtered_knowledge = [
            doc for doc in qa_system.knowledge_base 
            if not doc.get('sensitive', False) or user_roles[user_role]['can_view_sensitive']
        ]
        
        # 使用过滤后的知识库进行问答
        return qa_system.generate_answer_with_context(query, filtered_knowledge)
    
    return secured_generate_answer