1. 环境准备与基础配置

在CentOS7上部署Ollama之前，需要确保系统环境满足基础要求。我遇到过不少因为环境配置不当导致的部署失败案例，这里把关键步骤和避坑要点都整理出来。

首先更新系统组件和安装基础开发工具链：

sudo yum update -y
sudo yum install -y epel-release
sudo yum groupinstall "Development Tools" -y

Python环境是运行Ollama的必备条件，推荐使用Python3.8+版本：

sudo yum install python3 python3-devel python3-pip -y
python3 -m pip install --upgrade pip

GLIBC版本是个容易踩坑的地方。CentOS7默认的GLIBC 2.17无法满足Ollama的要求，需要升级到2.27+。我推荐使用devtoolset-12来管理：

sudo yum install centos-release-scl -y
sudo yum install devtoolset-12 -y
echo "source /opt/rh/devtoolset-12/enable" >> ~/.bashrc

验证GLIBC版本是否达标：

strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX

如果输出中没有GLIBCXX_3.4.20及以上版本，需要手动安装devtoolset-12-libstdc++-devel包。

2. Ollama服务部署与配置

安装Ollama最稳妥的方式是使用官方安装脚本：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后验证版本：

ollama --version

正常应该显示v0.5.12及以上版本。

模型部署示例（以8B参数的中文模型为例）：

ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8

为了让服务能够远程访问，需要修改监听地址：

sudo vi /etc/systemd/system/ollama.service

在[Service]段添加：

Environment="OLLAMA_HOST=0.0.0.0:11434"

然后重载服务配置：

sudo systemctl daemon-reload
sudo systemctl restart ollama

防火墙配置也很关键：

sudo firewall-cmd --permanent --add-port=11434/tcp
sudo firewall-cmd --reload

验证端口监听状态：

netstat -tuln | grep 11434

应该能看到LISTEN状态。

3. Nginx反向代理安全配置

直接暴露Ollama服务端口存在安全隐患，用Nginx做反向代理是更专业的做法。这是我优化过的生产级配置：

server {
    listen 443 ssl;
    server_name your-domain.com;
    
    # SSL证书配置
    ssl_certificate /path/to/cert.pem;
    ssl_certificate_key /path/to/key.pem;
    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_ciphers 'ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256...';
    ssl_prefer_server_ciphers on;
    ssl_session_cache shared:SSL:10m;
    ssl_session_timeout 10m;

    # 请求限流配置
    limit_req_zone $binary_remote_addr zone=api_limit:10m rate=10r/s;

    location / {
        # 启用限流
        limit_req zone=api_limit burst=20 nodelay;
        
        # 反向代理配置
        proxy_pass http://127.0.0.1:11434;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        
        # 连接超时设置
        proxy_connect_timeout 60s;
        proxy_read_timeout 600s;
        proxy_send_timeout 600s;
    }

    # IP白名单控制
    allow 192.168.1.0/24;
    allow 10.0.0.0/8;
    deny all;
}

这个配置包含了几个关键安全措施：

  1. 强制HTTPS加密传输
  2. 请求速率限制防止DDoS攻击
  3. IP白名单控制访问来源
  4. 合理的超时设置避免资源耗尽

4. API密钥认证实现

对于企业级应用，仅靠IP白名单可能不够，还需要API密钥认证。这里给出一个Python中间件实现示例：

from fastapi import FastAPI, Header, HTTPException
from fastapi.middleware.cors import CORSMiddleware

app = FastAPI()

# 允许跨域配置（按需调整）
app.add_middleware(
    CORSMiddleware,
    allow_origins=["*"],
    allow_methods=["*"],
    allow_headers=["*"],
)

API_KEYS = {
    "client1": "your_secure_key_here",
    "client2": "another_secure_key"
}

@app.middleware("http")
async def verify_key(request, call_next):
    api_key = request.headers.get("X-API-Key")
    if api_key not in API_KEYS.values():
        raise HTTPException(
            status_code=401, 
            detail="Invalid API Key",
            headers={"WWW-Authenticate": "API-Key"}
        )
    return await call_next(request)

部署时建议：

  1. 定期轮换API密钥
  2. 不同客户端使用不同密钥
  3. 记录密钥使用日志

5. Python客户端安全调用实践

基础文本生成调用

import requests
import hashlib
import time

def generate_text(prompt, api_key):
    url = "https://your-domain.com/api/generate"
    
    # 请求签名
    timestamp = str(int(time.time()))
    nonce = hashlib.md5(timestamp.encode()).hexdigest()
    signature = hashlib.sha256(
        f"{api_key}{timestamp}{nonce}".encode()
    ).hexdigest()
    
    headers = {
        "X-API-Key": api_key,
        "X-Timestamp": timestamp,
        "X-Nonce": nonce,
        "X-Signature": signature
    }
    
    data = {
        "model": "llama3-8b-chinese",
        "prompt": prompt,
        "stream": False
    }
    
    try:
        response = requests.post(
            url, 
            json=data,
            headers=headers,
            timeout=30
        )
        response.raise_for_status()
        return response.json()["response"]
    except requests.exceptions.RequestException as e:
        print(f"API调用失败: {str(e)}")
        return None

# 示例调用
result = generate_text("量子纠缠的基本原理是什么？", "your_secure_key_here")
print(result)

流式响应处理

def stream_generation(prompt, api_key):
    url = "https://your-domain.com/api/generate"
    timestamp = str(int(time.time()))
    nonce = hashlib.md5(timestamp.encode()).hexdigest()
    signature = hashlib.sha256(
        f"{api_key}{timestamp}{nonce}".encode()
    ).hexdigest()
    
    headers = {
        "X-API-Key": api_key,
        "X-Timestamp": timestamp,
        "X-Nonce": nonce,
        "X-Signature": signature,
        "Accept": "text/event-stream"
    }
    
    try:
        response = requests.post(
            url,
            json={
                "model": "llama3-8b-chinese",
                "prompt": prompt,
                "stream": True
            },
            headers=headers,
            stream=True,
            timeout=60
        )
        response.raise_for_status()
        
        for chunk in response.iter_lines():
            if chunk:
                try:
                    data = json.loads(chunk.decode('utf-8'))
                    if not data["done"]:
                        yield data["response"]
                except json.JSONDecodeError:
                    continue
                    
    except requests.exceptions.RequestException as e:
        print(f"流式请求失败: {str(e)}")

# 使用示例
for text in stream_generation("编写Python快速排序代码", "your_secure_key_here"):
    print(text, end='', flush=True)

6. 生产环境问题排查指南

内存泄漏排查

当发现服务响应变慢时，先用这些命令检查资源状态：

# 查看内存使用
free -h

# 查看Ollama进程内存
ps aux | grep ollama | grep -v grep

# 监控系统日志
journalctl -u ollama -f --since "10 minutes ago"

GPU资源监控

如果使用GPU加速，需要监控显存使用：

watch -n 1 nvidia-smi

连接数优化

当并发请求量较大时，可能需要调整系统连接数限制：

# 查看当前限制
ulimit -n

# 临时提高限制
ulimit -n 65535

# 永久生效需要修改/etc/security/limits.conf

在Nginx配置中也需要对应调整：

events {
    worker_connections 4096;
    multi_accept on;
}

http {
    # 保持连接优化
    keepalive_timeout 65;
    keepalive_requests 100;
}

7. 性能调优与扩展

模型缓存预热

对于高频使用的模型，可以提前加载到内存：

ollama pull llama3-8b-chinese
ollama run llama3-8b-chinese

批量请求处理

对于批量文本生成需求，可以使用批处理模式：

def batch_generate(prompts, api_key):
    url = "https://your-domain.com/api/generate/batch"
    timestamp = str(int(time.time()))
    
    headers = {
        "X-API-Key": api_key,
        "X-Timestamp": timestamp
    }
    
    data = {
        "model": "llama3-8b-chinese",
        "prompts": prompts,
        "max_tokens": 512,
        "temperature": 0.7
    }
    
    response = requests.post(url, json=data, headers=headers)
    return response.json()["results"]

负载均衡配置

当单节点性能不足时，可以通过Nginx实现负载均衡：

upstream ollama_cluster {
    server 10.0.1.10:11434;
    server 10.0.1.11:11434;
    server 10.0.1.12:11434;
    
    # 最少连接数策略
    least_conn;
    
    # 保持连接池
    keepalive 32;
}

server {
    location / {
        proxy_pass http://ollama_cluster;
        # 其他proxy配置...
    }
}

8. 安全审计与监控

访问日志分析

配置Nginx详细日志格式：

log_format ollama_log '$remote_addr - $remote_user [$time_local] '
                      '"$request" $status $body_bytes_sent '
                      '"$http_referer" "$http_user_agent" '
                      '$request_time $upstream_response_time';

access_log /var/log/nginx/ollama_access.log ollama_log;

然后用工具分析异常请求：

# 统计高频IP
awk '{print $1}' /var/log/nginx/ollama_access.log | sort | uniq -c | sort -nr

# 查找异常请求
grep -E '4[0-9]{2}|5[0-9]{2}' /var/log/nginx/ollama_access.log

性能监控仪表板

使用Prometheus+Grafana搭建监控系统，关键指标包括：

  • 请求成功率
  • 平均响应时间
  • 并发连接数
  • 系统资源使用率
  • 模型加载时间

示例Prometheus配置：

scrape_configs:
  - job_name: 'ollama'
    static_configs:
      - targets: ['10.0.1.10:11434']
    metrics_path: '/metrics'
    
  - job_name: 'nginx'
    static_configs:
      - targets: ['nginx-host:9113']

9. 备份与灾备方案

模型定期备份

设置cron任务自动备份模型：

0 3 * * * ollama list | awk 'NR>1 {print $1}' | xargs -I {} sh -c 'ollama pull {} && ollama save {} -f /backup/{}.tar'

配置版本控制

将Nginx配置和API密钥管理纳入Git版本控制：

/etc/nginx/
├── conf.d/
│   └── ollama.conf
├── ssl/
│   ├── cert.pem
│   └── key.pem
└── includes/
    └── api_keys.conf

故障转移方案

准备备用节点并配置健康检查：

upstream ollama_cluster {
    server 10.0.1.10:11434 max_fails=3 fail_timeout=30s;
    server 10.0.1.11:11434 backup;
    
    # 健康检查
    check interval=5000 rise=2 fall=3 timeout=1000;
}

10. 进阶安全措施

请求内容过滤

在Nginx层过滤恶意输入：

location /api/generate {
    # 过滤特殊字符
    if ($request_body ~* "[<>'\"]") {
        return 400;
    }
    
    # 限制请求体大小
    client_max_body_size 1M;
    
    proxy_pass http://ollama_backend;
}

动态令牌系统

实现一次性令牌增强安全性：

from itsdangerous import TimedJSONWebSignatureSerializer as Serializer

s = Serializer("your-secret-key", expires_in=300)

def generate_token(client_id):
    return s.dumps({"client": client_id}).decode()

def verify_token(token):
    try:
        return s.loads(token)
    except:
        return None

网络层防护

结合iptables做深层防护：

# 限制连接速率
iptables -A INPUT -p tcp --dport 443 -m connlimit --connlimit-above 50 -j DROP

# 防止SYN洪水攻击
iptables -N SYN_FLOOD
iptables -A INPUT -p tcp --syn -j SYN_FLOOD
iptables -A SYN_FLOOD -m limit --limit 10/s --limit-burst 50 -j RETURN
iptables -A SYN_FLOOD -j DROP
# Ollama
Logo
https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

cover

当 AI 修图师装上“万能插头“：MCP 如何改变修图工作流

avatar AI编程社区
cover

2026年8月开发者实战指南：ChatGPT Plus / Pro + Codex 如何协同完成需求分析、编码、测试、调试与代码审查

avatar AI编程社区
cover

投资一台B300，部署Claude Opus 5多久才能回本？

avatar AI编程社区