1、下载ollama

ollama的官网：Ollama

2、在官网找到相对应的模型下载命令

ollama run qwen3.5:0.8b    //后面模型的名字可以换

3、使用本地代码来调用下载的模型

from openai import OpenAI

# 本地 Ollama 服务的默认地址
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",  # 任意占位符，Ollama 不校验
)

completion = client.chat.completions.create(
    model="qwen3:0.6b",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "你是谁，能做什么？"}
    ],
    stream=True  # 流式输出
)

for chunk in completion:
    print(chunk.choices[0].delta.content or "", end="", flush=True)

提示：Ollama 启动后会默认开放一个兼容 OpenAI API 格式的接口（http://localhost:11434/v1），因此你可以直接使用 OpenAI 的 SDK 来访问本地部署的模型。如果需要使用 Ollama 原生 API 或其他调用方式，请参考模型的官方文档说明。