查看全部Ollama文档请访问：文档 -- Ollama 中文文档|Ollama官方文档

快速入门

要运行 Llama 并与 Llama 聊天 3.2：

ollama run llama3.2

模型库

Ollama 支持 ollama.com/library 上可用的模型列表

以下是一些可以下载的示例模型：

型	参数	大小	下载
Deepseek-R1	7B	4.7GB	ollama run deepseek-r1
Deepseek-R1	671B	404GB	ollama run deepseek-r1:671b
llama 3.3	70B	43GB	ollama run llama3.3
llama 3.2	3B	2.0GB	ollama run llama3.2
llama 3.2	1B	1.3GB	ollama run llama3.2:1b
llama 3.2 Vision	11B	7.9GB	ollama run llama3.2-vision
llama 3.2 Vision	90B	55GB	ollama run llama3.2-vision:90b
llama 3.1	8B	4.7GB	ollama run llama3.1
llama 3.1	405B	231GB	ollama run llama3.1:405b
Phi 4	14B	9.1GB	ollama run phi4
Phi 3 Mini	3.8 字节	2.3GB	ollama run phi3
Gemma 2	2B	1.6GB	ollama run gemma2:2b
Gemma 2	9B	5.5GB	ollama run gemma2
Gemma 2	27B	16GB	ollama run gemma2:27b
Mistral	7B	4.1GB	ollama run mistral
Moondream 2	1.4B	829MB	ollama run moondream
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Solar	10.7B	6.1GB	ollama run solar

[!注意] 您应该至少有 8 GB 的 RAM 来运行 7B 型号，16 GB 的 RAM 来运行 13B 的型号，32 GB 的 RAM 来运行 33B 型号。

自定义模型

从 GGUF 导入

Ollama 支持在 Modelfile 中导入 GGUF 模型：

1. 创建一个名为Modelfile，其中FROM指令替换为要导入的模型的本地文件路径。

   FROM ./vicuna-33b.Q4_0.gguf
   

2. 在 Ollama 中创建模型

   ollama create example -f Modelfile
   

3. 运行模型

   ollama run example
   

从 Safetensor 导入

请参阅 导入模型 以了解更多信息。

自定义提示

Ollama 库中的模型可以通过提示进行自定义。例如，要自定义llama3.2型：

ollama pull llama3.2

创建一个Modelfile:

FROM llama3.2

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

接下来，创建并运行模型：

ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.

有关使用 Modelfile 的更多信息，请参阅 Modelfile 文档。

CLI 参考

创建模型

ollama create用于从 Modelfile 创建模型。

ollama create mymodel -f ./Modelfile

拉取模型

ollama pull llama3.2

此命令还可用于更新本地模型。只会拉取 diff。

删除模型

ollama rm llama3.2

复制模型

ollama cp llama3.2 my-model

多行输入

对于多行输入，您可以使用 ："""

>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.

多模态模型

ollama run llava "What's in this image? /Users/jmorgan/Desktop/smile.png"

输出：图像具有黄色笑脸，这可能是图片的中心焦点。

将提示作为参数传递

ollama run llama3.2 "Summarize this file: $(cat README.md)"

输出：Ollama 是一个轻量级的可扩展框架，用于在本地计算机上构建和运行语言模型。它提供了一个用于创建、运行和管理模型的简单 API，以及一个可在各种应用程序中轻松使用的预构建模型库。

显示模型信息

ollama show llama3.2

列出计算机上的模型

ollama list

列出当前加载的模型

ollama ps

停止当前正在运行的模型

ollama stop llama3.2

启动 Ollama

ollama serve当您想在不运行桌面应用程序的情况下启动 OLLAMA 时使用。

构建

查看开发人员指南

运行本地构建

接下来，启动服务器：

./ollama serve

最后，在单独的 shell 中运行一个模型：

./ollama run llama3.2

REST API

Ollama 有一个用于运行和管理模型的 REST API。

生成响应

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt":"Why is the sky blue?"
}'

与模型聊天

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

请参阅所有端点的 API 文档。

文章来源：文档 -- Ollama 中文文档|Ollama官方文档