下载大模型到本地：

ollama pull llama3.2
下载embedding model:

ollama pull nomic-embed-text
启动ollama

ollama serve
测试ollama是否启动
curl http://localhost:11434/api/tags
设置embedchain :

复制代码
from embedchain import App
import os
os.environ[“OPENAI_API_KEY”] = “ollama” # Ollama 不校验，填任意值
os.environ[“OPENAI_API_BASE”] = “http://localhost:11434/v1”
config = {
“vectordb”: {
“provider”: “chroma”,
“config”: {
“collection_name”: “ollama_openai_compat”
}
},
“llm”: {
“provider”: “openai”, # 使用 openai provider
“config”: {
“model”: “llama3.2”, # 模型名称
“temperature”: 0.1,
“max_tokens”: 2000
}
},
“embedder”: {
“provider”: “openai”,
“config”: {
“model”: “nomic-embed-text”, # 嵌入模型
}
}
}

app = App.from_config(config=config)
复制代码
增加文档:

app.add(r’E:\拿破仑传.pdf’, data_type=‘pdf_file’)
增加问题：

response = app.query(“拿破仑去世时间”)
print(response)
完整的代码：

复制代码
from embedchain import App
import os
os.environ[“OPENAI_API_KEY”] = “ollama” # Ollama 不校验，填任意值
os.environ[“OPENAI_API_BASE”] = “http://localhost:11434/v1”
config = {
“vectordb”: {
“provider”: “chroma”,
“config”: {
“collection_name”: “ollama_openai_compat”
}
},
“llm”: {
“provider”: “openai”, # 使用 openai provider
“config”: {
“model”: “llama3.2”, # 模型名称
“temperature”: 0.1,
“max_tokens”: 2000
}
},
“embedder”: {
“provider”: “openai”,
“config”: {
“model”: “nomic-embed-text”, # 嵌入模型
}
}
}

app = App.from_config(config=config)
app.add(r’E:\拿破仑传.pdf’, data_type=‘pdf_file’)
response = app.query(“拿破仑去世时间”)
print(response)
复制代码
最后输出答案:

拿破仑于1815年去世。