Ollama 是一款轻量级的本地大语言模型运行框架,支持一键部署 Llama、DeepSeek、Qwen 等主流模型,自动处理硬件加速与环境依赖。本文整理了 Linux 环境下从安装、服务管理到模型迁移的完整操作手册,精简实用,可直接作为运维参考。

一、安装部署

1. 前置准备

        确保系统已安装 curl 工具:

apt update && apt install curl -y

2. 一键安装 Ollama

        官方脚本自动完成二进制部署与 systemd 服务注册:

curl -fsSL https://ollama.com/install.sh | sh

3. 验证安装

ollama --version

        安装完成后,Ollama 默认以 ollama 用户身份运行 systemd 服务,监听 127.0.0.1:11434。

二、系统磁盘与挂载检查

        部署前建议确认磁盘空间与挂载点,避免模型下载中途空间不足:

# 查看磁盘使用情况
df -h

# 查看块设备挂载情况
lsblk

        大模型单文件通常 4GB~40GB 不等,建议预留足够空间或提前迁移数据目录。

三、服务管理(systemd)

        Ollama 安装后自动注册为系统服务,使用 systemctl 进行生命周期管理:

操作命令
启动服务sudo systemctl start ollama
停止服务sudo systemctl stop ollama
重启服务sudo systemctl restart ollama
查看状态sudo systemctl status ollama
设置开机自启sudo systemctl enable ollama
取消开机自启sudo systemctl disable ollama
重载服务配置sudo systemctl daemon-reload

注意:修改服务配置文件后,必须执行 daemon-reload + restart 才能生效。

四、模型管理常用命令

1. 核心操作

# 查看已下载的模型列表
ollama list

# 拉取模型(以 deepseek-r1:7b 为例)
ollama pull deepseek-r1:7b

# 交互式运行模型
ollama run deepseek-r1:7b

# 删除模型
ollama rm deepseek-r1:7b

五、高级配置:端口与网络访问

        默认仅本机可访问(127.0.0.1:11434),如需局域网访问或修改端口,需编辑 systemd 服务配置。

1. 编辑服务配置

sudo nano /etc/systemd/system/ollama.service

        在 [Service] 段添加环境变量:

[Service]
# 修改监听地址与端口(示例:监听所有网卡,端口 11435)
Environment="OLLAMA_HOST=0.0.0.0:11435"
# 允许跨域访问(WebUI 对接时需要)
Environment="OLLAMA_ORIGINS=*"

2. 使配置生效

sudo systemctl daemon-reload
sudo systemctl restart ollama

3. 验证端口

netstat -tulpn | grep 11435

4. 常用环境变量速览

  • OLLAMA_HOST:监听地址与端口,默认 127.0.0.1:11434
  • OLLAMA_MODELS:模型存储目录
  • OLLAMA_KEEP_ALIVE:模型在内存中存活时间,如 24h
  • OLLAMA_NUM_PARALLEL:并行请求数
  • CUDA_VISIBLE_DEVICES:指定使用的 GPU 编号

六、模型数据目录迁移

        默认模型存储在 /usr/share/ollama/.ollama/models(systemd 方式)或 ~/.ollama/models(手动运行)。系统盘空间不足时建议迁移到大容量磁盘。

方法一:环境变量方式(推荐)

1.停止服务

sudo systemctl stop ollama

2.创建新目录并迁移数据

    # 创建目标目录(示例路径,请替换为你的实际路径)
    sudo mkdir -p /media/root01/308A13A18A1362A0/ollama_models
    
    # 迁移现有模型
    sudo mv /usr/share/ollama/.ollama/* /media/root01/308A13A18A1362A0/ollama_models/
    

    3.修改服务配置

      sudo nano /etc/systemd/system/ollama.service
      

      添加环境变量:

      Environment="OLLAMA_MODELS=/media/root01/308A13A18A1362A0/ollama_models/models"
      

      4.重启服务并验证

        sudo systemctl daemon-reload
        sudo systemctl start ollama
        ollama list
        

        方法二:软链接方式

                适合不想修改服务配置的场景:

        sudo systemctl stop ollama
        sudo mv /usr/share/ollama/.ollama /目标路径/.ollama
        sudo ln -s /目标路径/.ollama /usr/share/ollama/.ollama
        sudo systemctl start ollama
        

        七、Docker 方式部署(可选)

                若偏好容器化部署,可使用 Docker 一键启动:

        docker run -d \
          --name ollama \
          -p 11434:11434 \
          -v ./ollama-data:/root/.ollama \
          -e OLLAMA_HOST=0.0.0.0 \
          --gpus all \
          ollama/ollama:latest
        

                数据持久化通过挂载卷实现,迁移时直接复制 ./ollama-data 目录即可。

        八、常见问题排查

        1. 服务启动失败:执行 journalctl -u ollama -f 查看实时日志
        2. 模型拉取慢:可配置代理或手动下载 GGUF 文件通过 ollama create 导入
        3. GPU 不识别:确认 NVIDIA 驱动与 CUDA 已正确安装,Ollama 会自动检测
        4. 远程无法访问:检查防火墙是否放行对应端口,以及 OLLAMA_HOST 是否配置为 0.0.0.0
        Logo

        汇聚全球AI编程工具,助力开发者即刻编程。

        更多推荐