1.搭建Docker环境

maxkb需要docker环境,首先搭建docker环境

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install docker-ce docker-ce-cli containerd.io -y 
systemctl start docker
systemctl enable docker

可以使用systemctl status docker命令查看是否安装完成

安装完成后配置镜像源,使用下面命令一键配置

sudo mkdir -p /etc/docker && sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://docker.1panel.live"]
}
EOF
sudo systemctl daemon-reload && sudo systemctl restart docker && docker info | grep -A 5 "Registry Mirrors"

配置完成后拉取镜像

# 拉取 MaxKB 镜像
docker pull 1panel/maxkb:latest
2.运行maxkb
# 使用 host 网络模式重新运行
docker run -d \
  --name=maxkb \
  --network=host \
  -v ~/.maxkb:/var/lib/postgresql/data \
  --restart=always \
  1panel/maxkb:latest

使用host模式运行,容器可以直接用 127.0.0.1 访问宿主机服务,maxkb端口默认为8080。

访问ip+端口即可访问maxkb

http://目标服务器 IP 地址:目标端口
 
默认登录信息
用户名:admin
默认密码:MaxKB@123..
3.安装ollama

提供两种方式,(不知道是不是因为是云服务器的原因,使用官网的curl方式无法下载,提示TCP connection reset by peer),下面两种方式是测试过后可以下载的。

1.使用docker安装ollama(有点慢),-p 开放端口为11434,--restart=always开机自动重启。

docker run -d \
  --name=ollama \
  -p 11434:11434 \
  -v ~/.ollama:/root/.ollama \
  --restart=always \
  ollama/ollama

2.如果docker安装比较慢可以魔法去github下载然后传到服务器上

https://github.com/ollama/ollama/releases/tag/v0.3.2

我这里选择第二种,注意不要选择太新的版本,我使用的系统是centos7.9对应GLIBC版本是2.17,比较新的版本都需要2.27以上所以这里使用0.3.2版本。

# 1. 添加执行权限
chmod +x ollama-linux-amd64

# 2. 测试能否运行
./ollama-linux-amd64 --version

# 3. 移动到系统路径
sudo mv ollama-linux-amd64 /usr/local/bin/ollama

# 4. 验证
ollama --version

# 5. 创建 ollama 用户(如果还没创建)
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

# 6. 创建 systemd 服务
sudo tee /etc/systemd/system/ollama.service <<-'EOF'
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=default.target
EOF

# 7. 启动服务
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

# 8. 检查状态
sudo systemctl status ollama
curl http://localhost:11434

如图表示启动成功

然后可以使用ollama拉取模型进行测试,由于云服务器算力不够所以这里使用千问的3b

ollama pull qwen2.5:3b

4.配置maxkb智能体

2026-3-23更新----------------------

方法2使用gpu加速

由于需要在服务器上部署高级模型使用gpu加速,但是尝试各种方法都报错,最后发现可能是ollama用户没有访问显卡权限,解决方案是使用root用户启动服务:

sudo systemctl edit ollama

# 添加如下配置
[Service]
User=root
Group=root

方法1-基于docker安装使用gpu加速

1.确认显卡驱动

nvidia-smi

如果一切正常,会显示出显卡型号、驱动版本等信息。

2.安装 NVIDIA Container Toolkit

# 为 nvidia-container-toolkit 配置 YUM 仓库
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo

sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

# 安装 nvidia-container-toolkit
sudo yum install -y nvidia-container-toolkit

3.配置并重启 Docker

# 配置 Docker 使用 nvidia 作为默认运行时 这个命令会自动修改 /etc/docker/daemon.json 文件
sudo nvidia-ctk runtime configure --runtime=docker

# 重启 Docker 服务,使配置生效
sudo systemctl restart docker

4.验证 GPU 是否可用

# 运行一个 CUDA 基础容器,并执行 nvidia-smi 命令
sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi
  • 如果成功,你会在容器输出的结果中看到和第一步 nvidia-smi 命令类似的显卡信息。

  • 请注意,11.0 是 CUDA 的版本号。请确保它不大于第一步 nvidia-smi 命令输出中显示的 CUDA Version

5.重新启动 Ollama 容器

# 停止并移除旧的 Ollama 容器
sudo docker stop ollama && sudo docker rm ollama

# 使用 GPU 支持启动新的 Ollama 容器
sudo docker run -d \
  --gpus all \
  --name ollama \
  --restart always \
  -p 11434:11434 \
  -v /data/ollama:/root/.ollama \
  ollama/ollama:latest

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐