datawhale.com 动手学Ollama

windows系统配置curl环境

新建环境变量

curl for Windows 访问curl.se/windows 下载curl的压缩包，解压以后找到bin文件，用该文件所在地址新建系统环境变量

变量名可以设为CURL_HOME，变量值可以设为bin文件所在地址

检验

在命令行窗口输入curl --help

显示如上即意味着成功 

使用

问第一个问题

在命令行窗口输入

curl http://localhost:11434/api/generate -d "{\"model\": \"llama3.2:1b\", \"prompt\": \"为什么草是绿的\"}"

把其中的模型名称换成自己实际使用的模型

运行以下代码来跑模型：

ollama run llama3.2:1b

得到输出：

curl "http://localhost:11434/api/generate" -d "{\"model\": \"llama3.2:1b\", \"prompt\": \"为什么四川大学比清华大学还要更好？\", \"stream\": false}"

非流式输出

把stream设为false可以使用非流式输出，我们可以问AI，为什么四川大学比清华大学更好

AI的回答是：

json输出

要确保模型在 format 设置为 json 时以正确的 JSON 格式输出，并避免生成无效格式（如大量空格或换行符），需要在 提示词（prompt） 中明确指示模型的输出格式要求

curl "http://localhost:11434/api/generate" -d "{\"model\": \"llama3.2:1b\", \"prompt\": \"为什么四川大学是中国最好的大学？以JSON格式输出答案\", \"format\": \"json\", \"stream\": false}"

AI的回答：

这里AI犯了严重的错误，四川大学创办于1896，而非1957，在此本人表示强烈谴责

设置固定随机种子seed

另外可以设置 固定随机种子（seed） 确保结果可复现

列出现在使用的模型

curl http://localhost:11434/api/tags

输出：

显示模型信息

curl http://localhost:11434/api/show -H "Content-Type: application/json" -d "{\"name\": \"llama3.2:1b\"}"

输出：

易错点

在 CMD 中，每按一次回车键，都会执行一行命令。如果将 JSON 数据拆分为多行输入，导致每行的 "name": "llama3.2:1b" 被误认为是独立命令，从而报错

拉取模型

curl -X POST http://localhost:11434/api/pull -H "Content-Type: application/json" -d "{\"name\": \"llama3.2:1b\"}"

参考文章 

💻 动手学 Ollama 🦙