大模型平台搭建（四）本地模型ollama平台部署

Ollama Docker 部署指南

ollama 是一个开源的本地大语言模型运行框架，支持在 Docker 环境中快速部署 LLM 模型。以下是详细的 Docker 部署流程。

• 注：Ollama目前主流支持 LLM 和 Embedding模型。 对于Rerank模型支持少
• 如果对Rerank模型是刚需的小伙伴，可以考虑其他的本地模型平台

环境准备

• Docker 20.10+ 版本
• 至少 8GB 内存（建议 16GB+ 以运行大模型）
• 支持 NVIDIA GPU 的机器（可选，需安装 NVIDIA Container Toolkit）

快速部署

通过 Docker 运行 Ollama 服务：

# 拉取最新 ollama 镜像
docker pull ollama/ollama:latest

# 运行容器（默认端口 11434）
docker run -d -p 11434:11434 --name ollama -v ollama_data:/root/.ollama ollama/ollama

# 验证容器状态
docker ps -a | grep ollama

配置持久化存储

ollama 模型默认存储在容器内的 /root/.ollama，通过挂载卷实现持久化：

# 创建命名卷（或绑定本地目录）
docker volume create ollama_data

# 启动时挂载卷
docker run -d -p 11434:11434 --name ollama -v ollama_data:/root/.ollama ollama/ollama

docker-compose 一键部署

version: '2.4'

# 这里设置默认networks是为了做容器间的通讯。可以根据实际情况删减。
# services中networks也是同理。 
networks: 
  docker_default:
    external: true

services:
  ollama:
    image: ollama:0.12.0
    container_name: ollama
    restart: always
    runtime: nvidia  # 配置GPU加速 前提: NVIDIA Container Toolkit已安装
    environment:
      - NVIDIA_VISIBLE_DEVICES=all  # 配置GPU卡
      - TZ=Asia/Shanghai
    volumes:
      - /data/ollama/ollama-data:/root/.ollama
    ports:
      - "11434:11434"
    networks:
      - docker_default

GPU 加速（可选）

若需 GPU 支持，启动时添加 --gpus all 参数：

docker run -d --gpus all -p 11434:11434 --name ollama -v ollama_data:/root/.ollama ollama/ollama

模型下载与运行

通过容器内命令行或 HTTP API 下载模型：

# 进入容器交互模式
docker exec -it ollama bash

# 下载并运行模型
可在官网 https://ollama.com/search 寻找自己需要下载的模型
比如下载deepseek-r1模型
ollama pull deepseek-r1:latest
ollama run deepseek-r1:latest

或直接通过 API 调用：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "为什么天空是蓝色的？"
}'

生产环境建议

• 网络配置：通过 Nginx 反向代理暴露服务，配置 HTTPS
• 资源限制：使用 --memory 和 --cpus 参数限制容器资源
• 日志管理：挂载日志目录便于排查问题

更新与维护

更新 ollama 镜像并重启容器：

建议通过docker-compose进行更新与维护
1. 修改docker-compose相关配置项
2. 通过docker-compose down关闭服务    ## 注意：会清除容器,确保已经持久化
3. 通过docker-compose up -d 启动服务

常见问题

1. 端口冲突：修改 -p 参数为其他端口（如 -p 11435:11434）
2. 模型下载失败：检查网络或手动下载模型后放入卷目录
3. GPU 不可用：确认 NVIDIA Container Toolkit 已安装并通过 nvidia-smi 测试

部署完成后，可通过 http://localhost:11434 访问 ollama 服务，或使用客户端工具集成。