Ollama 简介

Ollama 是一个开源的本地大语言模型运行框架，旨在简化大模型在本地环境的部署和使用。

核心特点

• 本地运行：模型完全在本地机器上执行，数据不出本机，保障隐私安全
• 简单易用：一条命令即可下载并运行模型，无需复杂配置
• 模型丰富：支持 Llama、Gemma、Mistral、Qwen、DeepSeek 等主流开源模型
• 轻量高效：针对消费级硬件优化，普通电脑即可运行

基本用法

# 安装后运行模型（自动下载）
ollama run llama3

# 拉取模型
ollama pull qwen2

# 查看已下载模型
ollama list

# 删除模型
ollama rm llama3

API 接口

Ollama 启动后默认在 http://localhost:11434 提供 REST API，兼容 OpenAI API 格式：

# 生成补全
curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Hello"
}'

# 对话补全
curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [{"role": "user", "content": "Hello"}]
}'

也可通过 SDK 集成：

// Node.js
import { Ollama } from 'ollama';
const ollama = new Ollama();
const response = await ollama.chat({
  model: 'llama3',
  messages: [{ role: 'user', content: 'Hello' }],
});

# Python
import ollama
response = ollama.chat(
    model='llama3',
    messages=[{'role': 'user', 'content': 'Hello'}],
)

Modelfile 自定义

Ollama 支持通过 Modelfile 创建自定义模型，类似 Dockerfile：

FROM llama3
PARAMETER temperature 0.7
SYSTEM You are a helpful coding assistant.

ollama create my-model -f Modelfile

适用场景

支持平台

• macOS
• Linux
• Windows

Ollama 降低了使用大语言模型的门槛，让开发者和用户无需依赖云端服务，即可在本地体验和集成大模型能力。