1、环境安装

官网慢，从modelscope上下载安装

https://www.modelscope.cn/models/modelscope/ollama-linux

# 安装ModelScope
pip install modelscope 

# 下载ollama-linux 到指定目录
modelscope download --model=modelscope/ollama-linux --local_dir /root/autodl-tmp/ollama-linux --revision v0.15.1

# 运行ollama安装脚本
cd ollama-linux
sudo chmod 777 ./ollama-modelscope-install.sh
./ollama-modelscope-install.sh

2、运行

# terminal 1 中 开启服务
ollama serve

# terminal 2 中, 使用命令行 查看、运行、删除

ollama list

ollama run qwen3:0.6b

ollama rm <完整模型名>

3、使用代码调用本地部署的ollama模型

#使用openai的API风格调用本地模型
# 注意model 里需要用ollama list 得到的模型名称
from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1/",api_key="suibianxie")

chat_completion = client.chat.completions.create(
    messages=[{"role":"user","content":"请介绍下你自己"}],model="qwen3:0.6b"
)
print(chat_completion.choices[0])