1. 为什么选择FastGPT+Ollama搭建本地AI客服？

在当前的AI应用浪潮中，企业级客服系统正经历着从规则引擎到智能对话的转型。传统方案如Azure Bot Service或Dialogflow虽然成熟，但存在三个致命痛点：响应延迟高（通常500-800ms）、数据需出境、定制成本昂贵。而FastGPT与Ollama的组合恰好解决了这些问题——实测本地部署的问答响应可控制在200ms内，且所有数据留在内网。

Ollama作为本地大模型运行框架，其优势在于：

• 支持多种量化模型（如Llama3-8B仅需6GB显存）
• 提供RESTful API便于集成
• 内置模型版本管理
• 跨平台支持（Windows/Linux/macOS）

FastGPT则是开源的AI知识库管理系统，具备：

• 可视化工作流编排
• 多数据源接入（MySQL/MongoDB/PDF等）
• 对话历史审计
• 基于Next.js的现代前端

这对组合的黄金之处在于：Ollama处理自然语言理解与生成，FastGPT负责业务逻辑和知识检索，形成完整的AI客服解决方案。某电商客户实测显示，在Intel i7-12700H + RTX 3060的笔记本上，能同时处理20路咨询会话而不卡顿。

2. 环境准备与依赖安装

2.1 系统环境配置

Windows用户必须启用WSL2（Windows Subsystem for Linux），这是运行Docker的最佳实践。以管理员身份执行：

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

重启后设置WSL2为默认版本：

wsl --set-default-version 2

Linux用户需确保内核版本≥5.10，建议Ubuntu 22.04 LTS。关键依赖检查：

uname -r  # 查看内核版本
lscpu     # 确认CPU支持AVX指令集（大模型运行必需）

2.2 Docker与Docker Compose安装

对于国内用户，推荐使用阿里云镜像加速安装：

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
sudo systemctl enable --now docker

验证安装时特别注意用户组权限：

sudo usermod -aG docker $USER  # 将当前用户加入docker组
newgrp docker                  # 刷新用户组
docker run hello-world         # 应看到欢迎信息

Docker Compose需单独安装（v2.20+）：

DOCKER_CONFIG=${DOCKER_CONFIG:-$HOME/.docker}
mkdir -p $DOCKER_CONFIG/cli-plugins
curl -SL https://mirror.ghproxy.com/https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-linux-x86_64 -o $DOCKER_CONFIG/cli-plugins/docker-compose
chmod +x $DOCKER_CONFIG/cli-plugins/docker-compose

注意：若遇到 Permission denied 错误，可能是SELinux导致，可尝试 sudo setenforce 0 临时关闭

3. Ollama本地模型部署实战

3.1 模型选择与下载加速

对于中文客服场景，推荐以下模型组合：

• 基础模型：qwen:7b（阿里通义千问）
• 精调模型：llama3:8b-instruct-q4_0（量化版）

使用清华镜像源加速下载：

export OLLAMA_MODELS=https://mirrors.tuna.tsinghua.edu.cn/ollama
ollama pull qwen:7b

若下载中断，可手动继续：

ollama pull --insecure qwen:7b  # 跳过哈希校验

3.2 启动参数优化

创建 /etc/systemd/system/ollama.service 服务文件：

[Unit]
Description=Ollama Service
After=network.target

[Service]
ExecStart=/usr/local/bin/ollama serve
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_MODELS=/mnt/models"  # 建议挂载SSD目录
Restart=always
User=ollama
Group=ollama

[Install]
WantedBy=multi-user.target

关键参数调优：

# 限制GPU显存使用（防止OOM）
export CUDA_VISIBLE_DEVICES=0
export OLLAMA_NO_CUDA=0  # 显式启用CUDA

# 启动时预加载模型
sudo systemctl start ollama
ollama list  # 确认模型加载状态

4. FastGPT系统配置详解

4.1 快速部署方案

使用官方docker-compose模板：

version: '3.8'
services:
  fastgpt:
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest
    ports:
      - "3000:3000"
    volumes:
      - ./data:/data
    depends_on:
      - mongo
      - redis
    environment:
      - MONGODB_URI=mongodb://mongo:27017/fastgpt
      - REDIS_HOST=redis

  mongo:
    image: mongo:5.0
    volumes:
      - ./mongo/data:/data/db

  redis:
    image: redis:6-alpine

启动后访问 http://localhost:3000 ，初始账号：

• 用户名：root
• 密码：1234（首次登录需修改）

4.2 关键配置项说明

修改 config.json 实现深度定制：

{
  "systemEnv": {
    "pluginBaseUrl": "http://localhost:3000",
    "vectorMaxProcess": 15,  // 向量处理并发数
    "qaMaxProcess": 5        // 问答并发数
  },
  "feConfigs": {
    "show_emptyChat": true,
    "customTitle": "AI客服助手"
  }
}

数据库索引优化命令：

// 在Mongo Shell中执行
db.collection('knowledge_base').createIndex({ vector: "cosmosSearch" }, { cosmosSearchOptions: { kind: "vector-ivf", numLists: 100 } })

5. 系统集成与性能调优

5.1 API对接方案

FastGPT与Ollama通过OpenAI兼容接口通信。在FastGPT后台「模型设置」中添加：

API地址：http://ollama:11434/v1
API密钥：ollama（任意非空字符串）
模型名称：qwen:7b

测试对话流时建议使用 curl 模拟请求：

curl -X POST http://localhost:3000/api/v1/chat/completions \
  -H "Authorization: Bearer your_api_key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen:7b",
    "messages": [
      {"role": "system", "content": "你是一个专业的电商客服"},
      {"role": "user", "content": "订单号20240515678的物流状态"}
    ]
  }'

5.2 性能瓶颈排查

常见问题及解决方案：

现象	可能原因	排查命令	优化方案
响应慢	GPU利用率低	nvidia-smi -l 1	增加 OLLAMA_NUM_GPU 环境变量
内存泄漏	Node.js内存限制	docker stats	设置 NODE_OPTIONS=--max-old-space-size=4096
对话中断	心跳超时	journalctl -u ollama -f	调整 OLLAMA_KEEP_ALIVE=5m

对于高并发场景，建议：

# 增加FastGPT工作线程
pm2 start npm --name "fastgpt" -- run start -i max

# 启用Ollama批处理
export OLLAMA_BATCH_SIZE=8

6. 进阶功能扩展

6.1 知识库主动学习

配置自动知识更新流程：

1. 在FastGPT创建「工单系统」知识库
2. 设置MySQL触发器监听工单表变更
3. 通过Webhook触发知识向量化：

import requests
url = "http://fastgpt:3000/api/admin/knowledge/update"
params = {"kbId": "工单系统", "mode": "increment"}
requests.post(url, json=params)

6.2 移动端适配技巧

修改 src/pages/_app.tsx 实现响应式布局：

import { MobileContextProvider } from '@/hooks/useMobile'
export default function App({ Component, pageProps }: AppProps) {
  return (
    <MobileContextProvider>
      <Component {...pageProps} />
    </MobileContextProvider>
  )
}

添加CSS媒体查询：

@media (max-width: 768px) {
  .chat-container {
    grid-template-columns: 1fr !important;
  }
}

实测发现，在iOS Safari上需要额外polyfill：

<script src="https://cdn.jsdelivr.net/npm/@ungap/custom-elements"></script>

7. 运维监控方案

7.1 日志收集架构

推荐使用Loki+Promtail+Grafana方案：

# docker-compose.monitor.yaml
services:
  loki:
    image: grafana/loki:latest
    ports:
      - "3100:3100"

  promtail:
    image: grafana/promtail:latest
    volumes:
      - /var/log:/var/log
      - ./promtail-config.yaml:/etc/promtail/config.yml

  grafana:
    image: grafana/grafana:latest
    ports:
      - "3001:3000"

配置FastGPT日志输出：

// logger.config.js
module.exports = {
  transports: [
    new winston.transports.File({ 
      filename: '/var/log/fastgpt.log',
      format: combine(timestamp(), json())
    })
  ]
}

7.2 健康检查策略

编写自定义探针脚本 healthcheck.sh ：

#!/bin/bash
# 检查Ollama服务
curl -sf http://localhost:11434 || exit 1

# 检查GPU内存泄漏
nvidia-smi --query-gpu=memory.used --format=csv | awk 'NR>1 && $1 > 90 {exit 1}'

# 检查MongoDB连接
mongo --eval "db.adminCommand('ping')" | grep -q "ok.*1" || exit 1

添加到crontab每5分钟执行：

*/5 * * * * /path/to/healthcheck.sh || systemctl restart fastgpt