1. 为什么你需要LangChain + Ollama这个组合？

如果你对AI应用开发感兴趣，但又对动辄需要联网、调用昂贵API或者数据隐私问题感到头疼，那么今天聊的这个组合，可能就是为你量身定做的“解药”。我折腾AI应用也有好几年了，从早期的云端API调用，到后来自己吭哧吭哧在本地部署开源模型，踩过的坑不计其数。直到我发现了 LangChain 和 Ollama 这两个工具，并把它们组合在一起，才真正找到了一种既强大又省心的本地AI开发新路子。

简单来说，LangChain 是一个帮你快速构建基于大语言模型（LLM）应用的框架。它就像一套乐高积木，提供了连接模型、处理数据、管理对话记忆、调用工具（比如搜索、计算）等各种标准化的“积木块”。你不用从零开始写网络请求、处理复杂的上下文拼接，用LangChain可以快速搭出智能问答、文档分析、自动化Agent这些应用。

而 Ollama，你可以把它理解为一个“本地化的模型管家”。它的核心价值在于，让你用一条简单的命令，就能在本地电脑或服务器上，下载、运行和管理各种开源大模型（比如Llama 3、Qwen、Mistral等）。它帮你处理了最麻烦的部分：模型格式转换、GPU内存优化、提供一个统一的API服务接口。你不用再去研究复杂的C++编译、Python环境冲突，Ollama都给你打包好了。

那么，把它们俩集成起来意味着什么？意味着你可以在自己完全掌控的本地环境里，用上LangChain这个强大的应用开发框架，去驱动同样在本地运行的开源大模型。数据不出本地，隐私安全有保障；没有API调用费用，成本完全可控；网络要求低，断网也能用；定制化程度高，你可以随意选择或微调模型来适配你的特定任务。

这个组合特别适合这几类朋友：一是个人开发者或小团队，想低成本验证AI应用想法；二是对数据安全有严格要求的企业或机构，比如处理内部文档、客户信息；三是AI学习者和研究者，希望有一个稳定、易用的本地实验环境。接下来，我就带你一步步把这个强大的组合搭建起来，并分享几个我实际用过的、能立刻上手的应用案例。

2. 手把手搭建你的本地AI引擎：Ollama

理论说再多，不如动手做一遍。Ollama的安装其实比很多人想象的要简单，尤其是官方提供了一键脚本。但为了让大家理解背后的原理，也为了应对某些特殊环境（比如公司内网服务器），我这里会详细拆解手动安装的每一步。这能帮你更好地掌控这个工具，出了问题也知道从哪里排查。

2.1 核心安装四步曲

Ollama的本质，是一个打包好的、可以直接运行的服务程序。我们安装的目标，就是把这个程序放到系统合适的位置，并把它配置成一个开机自启的系统服务。

第一步：获取Ollama程序本体 在Linux服务器或你的Mac/Linux电脑上，打开终端。我们首先需要下载Ollama的可执行文件。官方为不同系统提供了编译好的版本。对于最常见的Linux x86_64系统，执行这条命令：

wget https://ollama.com/download/ollama-linux-amd64

这条命令会从Ollama官网下载一个名为 ollama-linux-amd64 的二进制文件。如果你用的是Windows，但想在WSL（Windows Subsystem for Linux）里运行，也请使用这个Linux版本。如果是macOS（Apple Silicon芯片），则应该下载 ollama-darwin-arm64。下载过程就是获取这个“引擎”的核心文件。

第二步：安置并赋予权限 下载下来的文件还没有执行权限，也不是系统认识的标准命令。我们需要做两件事：一是把它放到系统全局可识别的目录，二是给它“开绿灯”允许执行。

# 1. 移动到系统命令目录，并重命名为简单的‘ollama’
sudo mv ollama-linux-amd64 /usr/local/bin/ollama
# 2. 赋予可执行权限
sudo chmod +x /usr/local/bin/ollama

这里我推荐放到 /usr/local/bin，这个目录通常用于用户自己安装的软件，比 /usr/bin 更合适，避免与系统自带命令冲突。chmod +x 这个操作就像给文件打上“这是一个程序”的标签，系统才知道它能运行。

第三步：配置后台服务（关键步骤） 我们不希望每次用模型都要手动启动一次服务，最好让它像MySQL、Nginx一样在后台常驻。这就需要用到Linux的 systemd 服务管理器。我们创建一个服务配置文件：

sudo vim /etc/systemd/system/ollama.service

在打开的文件里，粘贴以下内容。别担心，我逐行解释：

[Unit]
Description=Ollama Service
After=network-online.target # 确保在网络就绪后再启动

[Service]
Type=exec
ExecStart=/usr/local/bin/ollama serve # 核心启动命令
User=ollama # 用一个专用用户运行，更安全
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/bin:/usr/bin:/bin"
Environment="OLLAMA_MODELS=/path/to/your/models" # 可选：自定义模型存放路径

[Install]
WantedBy=default.target
  • User=ollama：为了安全，我们不应该用root用户直接跑服务。所以先创建一个专用的系统用户：sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama。
  • Environment：这里有个小技巧。你可以通过 OLLAMA_MODELS 环境变量指定模型下载到哪里，比如一块大容量的数据盘。默认是在 ~/.ollama/models 下。 保存退出后，让系统重新加载服务配置，并设置开机自启：
sudo systemctl daemon-reload
sudo systemctl enable ollama

第四步：启动与验证 万事俱备，启动服务并检查状态：

sudo systemctl start ollama
sudo systemctl status ollama

如果看到绿色的 active (running) 字样，恭喜你，Ollama服务已经在后台欢快地跑起来了！你还可以用 ollama --version 查看版本确认安装成功。

2.2 下载你的第一个开源大模型

服务跑起来了，但仓库是空的。现在我们需要往这个“本地模型商店”里添置商品。Ollama官方维护了一个模型库（Ollama Library），里面集成了众多热门的开源模型。虽然不像Hugging Face那样海量，但精选的都是主流且兼容性好的模型，比如Meta的 Llama 3、清华的 Qwen、法国的 Mistral 等。

假设我们想下载一个在中文上表现不错，同时体积适中的模型，Qwen2.5:7b 是个很好的起点。下载命令简单到不可思议：

ollama pull qwen2.5:7b

执行这条命令，Ollama就会自动从镜像站拉取模型文件，并进行优化处理。你会看到下载和解压的进度条。这里有个重要概念：Tag（标签）。qwen2.5:7b 中，冒号前是模型名，冒号后是具体的版本标签（这里是7B参数量的聊天版本）。你可以去 Ollama官网的模型库 浏览所有可用模型和它们的标签。

下载完成后，怎么知道模型是否就位了呢？

  • 命令 ollama list 会列出所有本地已下载的模型。
  • 模型文件默认存储在 /usr/share/ollama/.ollama/models（如果你按上述服务配置）或当前用户的 ~/.ollama/models 目录下。

2.3 初体验：在命令行里与模型对话

模型下载好了，让我们先抛开复杂的框架，单纯体验一下Ollama原生的能力。在终端直接运行：

ollama run qwen2.5:7b

你会进入一个交互式对话界面。直接输入问题，比如“用Python写一个快速排序函数”，模型就会开始生成回答。输入 /bye 可以退出。这个模式很适合快速测试模型的基础能力。

但对我们开发者来说，更常用的是它的 API 服务模式。Ollama在启动服务（ollama serve）后，默认就在 11434端口 提供了一个兼容 OpenAI API格式 的接口。这意味着，任何能调用OpenAI的工具（包括LangChain），理论上都能通过改个地址来调用你的本地模型！

你可以立刻用 curl 命令测试一下这个API：

curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "为什么天空是蓝色的？",
  "stream": false
}'

如果看到返回了一段JSON格式的答案，那么你的本地大模型API服务就已经完美运行了。这为后面LangChain的集成铺平了道路。

3. 连接桥梁：在LangChain中调用Ollama模型

现在，我们的本地“大脑”（Ollama模型）已经准备就绪，并且有了一个标准的“交流通道”（API）。接下来，就要请出“指挥家”LangChain，来编排更复杂的任务了。LangChain调用Ollama的核心，就在于使用其提供的 ChatOllama 或 OllamaLLM 类，它们被设计成能够无缝对接本地11434端口的服务。

3.1 基础集成：让你的代码认识本地模型

首先，确保你的Python环境已经安装了LangChain。建议创建一个虚拟环境来管理依赖：

pip install langchain langchain-community

langchain-community 这个包包含了大量社区贡献的集成工具，其中就有我们需要的Ollama组件。

接下来，我们写一个最简单的Python脚本，用LangChain初始化一个连接到本地Ollama的模型对象：

from langchain_community.llms import Ollama
from langchain_core.prompts import ChatPromptTemplate

# 最关键的一步：创建Ollama模型实例
# model参数指定你本地用`ollama pull`下载的模型名
llm = Ollama(model="qwen2.5:7b", base_url="http://localhost:11434")

# 构建一个简单的提示词模板
prompt = ChatPromptTemplate.from_messages([
    ("system", "你是一个乐于助人的AI助手。"),
    ("user", "{input}")
])

# 将模板和模型组合成一个链
chain = prompt | llm

# 发起调用！
response = chain.invoke({"input": "给我讲一个关于编程的幽默短故事吧。"})
print(response)

运行这个脚本，你应该能看到模型生成的幽默故事。这段代码虽然短，但完成了几个关键动作：1）告诉LangChain使用哪个模型（qwen2.5:7b）；2）指定模型服务在哪里（base_url，默认就是本地11434端口）；3）构建了一个包含系统指令和用户输入的对话结构；4）执行调用并获取结果。

踩坑提醒：我第一次集成时，遇到一个常见错误——连接被拒绝。问题往往出在Ollama服务没启动，或者防火墙挡住了11434端口。请务必先用 sudo systemctl status ollama 和上面的 curl 命令双重验证服务是否正常。

3.2 高级配置：温度、重复惩罚与上下文长度

直接使用默认参数可能无法得到最优效果。就像烹饪需要控制火候，调用大模型也需要调整一些“旋钮”。LangChain的Ollama接口允许我们方便地传递这些生成参数：

llm = Ollama(
    model="qwen2.5:7b",
    base_url="http://localhost:11434",
    temperature=0.7,       # 控制创造性：0.0更确定/保守，1.0更随机/有创意
    top_p=0.9,            # 核采样：与temperature配合，影响词的选择范围
    repeat_penalty=1.1,    # 重复惩罚：大于1.0可降低重复输出
    num_predict=512,       # 最大生成token数，控制回答长度
)
  • temperature（温度）：这是我调整最多的参数。写代码、总结事实时，我会设低一点（如0.2），让输出更稳定可靠。写诗、创意文案时，调高到0.8甚至1.0，让想法更天马行空。
  • num_predict：这个参数特别重要，它限制了模型一次最多生成多少token（可以粗略理解为字数）。设得太小，回答可能被截断；设得太大，如果模型“啰嗦”起来会消耗更多时间和内存。根据你的任务需求来定，一般对话512或1024就够了。

3.3 流式输出：提升用户体验的利器

如果你构建的是需要实时显示结果的聊天应用，那么“流式输出”（Streaming）功能必不可少。它让答案像打字一样一个个词跳出来，而不是等全部生成完才显示，体验好很多。LangChain调用Ollama实现流式也非常简单：

from langchain_community.llms import Ollama

llm = Ollama(model="qwen2.5:7b", base_url="http://localhost:11434")

# 使用stream方法
for chunk in llm.stream("请用一段话描述大海的壮丽。"):
    print(chunk, end="", flush=True) # 关键：end=""避免换行，flush=True立即刷新显示

在实际的Web或GUI应用中，你可以把这些chunk实时推送到前端界面。我有个项目是做本地知识库问答，用了流式输出后，用户反馈等待感明显下降，即使答案生成了5秒钟，因为一直在“打字”，他们也不会觉得卡顿。

4. 实战演练：构建两个本地AI应用原型

理解了基础调用，我们来点实际的。下面我分享两个用LangChain + Ollama搭建的实用原型，你可以把它们作为自己项目的起点。

4.1 应用一：本地文档智能问答助手

这个场景太常见了：你有一堆PDF、Word或TXT格式的本地文档（比如产品手册、项目报告、学习资料），想快速从中查找信息，而不是手动翻阅。用这个组合，我们可以轻松实现。

核心思路：

  1. 加载与切分文档：用LangChain的文档加载器（如 PyPDFLoader, UnstructuredFileLoader）读取文件，并将长文本切分成语义相关的小片段（Chunk）。
  2. 向量化与存储：使用嵌入模型（Embedding Model）将每个文本片段转换为向量（一组数字），并存入本地的向量数据库（如ChromaDB、FAISS）。
  3. 检索与生成：当用户提问时，将问题也转换成向量，在向量数据库中查找最相似的几个文本片段。将这些片段作为“上下文”，连同问题一起交给Ollama模型，让它基于这些上下文生成答案。

简化版代码示例：

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.embeddings import OllamaEmbeddings # Ollama也提供嵌入模型！
from langchain_community.vectorstores import Chroma
from langchain.chains import RetrievalQA
from langchain_community.llms import Ollama

# 1. 加载文档（以TXT为例）
loader = TextLoader("./my_document.txt")
documents = loader.load()

# 2. 切分文本
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
texts = text_splitter.split_documents(documents)

# 3. 使用Ollama的嵌入模型（需要先pull一个嵌入模型，如nomic-embed-text）
embeddings = OllamaEmbeddings(model="nomic-embed-text", base_url="http://localhost:11434")

# 4. 创建向量存储
vectorstore = Chroma.from_documents(documents=texts, embedding=embeddings, persist_directory="./db")
retriever = vectorstore.as_retriever(search_kwargs={"k": 3}) # 检索最相关的3个片段

# 5. 创建问答链
llm = Ollama(model="qwen2.5:7b", base_url="http://localhost:11434")
qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=retriever)

# 6. 提问！
question = "文档中提到的核心项目目标是什么？"
answer = qa_chain.invoke({"query": question})
print(answer["result"])

这个流程的妙处在于，所有环节都在本地：文档是本地的，向量化用的嵌入模型是Ollama本地运行的，检索用的向量数据库建在本地磁盘，最终生成答案的大模型也是本地的。数据流转的每一步都无需出你的机器，安全可控。

4.2 应用二：具有记忆的对话机器人

基础的问答是一次性的。但一个真正的助手应该能记住对话历史，实现多轮连贯的交流。LangChain的“记忆”（Memory）组件就是为了这个而生。

实现带记忆的对话：

from langchain_community.llms import Ollama
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferWindowMemory

# 初始化模型和记忆
llm = Ollama(model="qwen2.5:7b", temperature=0.8, base_url="http://localhost:11434")
# ConversationBufferWindowMemory会保留最近K轮对话，避免上下文过长
memory = ConversationBufferWindowMemory(k=5)

# 创建对话链
conversation = ConversationChain(llm=llm, memory=memory, verbose=True)

# 进行多轮对话
print(conversation.invoke("你好，我叫小明。")["response"])
print(conversation.invoke("我刚才说我叫什么名字？")["response"]) # 模型应该能记住“小明”
print(conversation.invoke("我喜欢吃苹果，你呢？")["response"])

ConversationBufferWindowMemory(k=5) 意味着它只记住最近的5轮对话（一问一答算一轮）。这对于平衡上下文长度和记忆效果很有效。你也可以用 ConversationSummaryMemory，它会自动总结之前的对话历史，用更短的文本保留核心信息，适合更长的聊天会话。

5. 性能调优与排错指南

把东西跑起来只是第一步，想要用得顺手、用得高效，还得做一些优化和问题排查。这部分是我在实际项目中积累的一些经验。

5.1 模型选择与硬件匹配

不是模型越大越好，关键是匹配你的硬件和任务。在我的16GB内存、无独立GPU的笔记本上，跑70亿参数（7B）的 qwen2.5:7b 或 llama3:8b 是流畅的。但如果我只有8GB内存，可能就需要选择更小的模型，比如30亿参数（3B）的版本，或者使用量化版本（模型标签带 q4_0, q8_0 等，如 llama3:8b-instruct-q4_0）。

  • 量化模型：这是本地部署的“神器”。它通过降低模型权重的数值精度（比如从32位浮点数降到4位整数）来大幅减少模型体积和内存占用，而对生成质量的影响往往很小。在Ollama中拉取时直接选择带量化标签的版本即可，如 ollama pull llama3:8b-instruct-q4_0。
  • 查看资源占用：使用 ollama ps 命令可以查看正在运行的模型实例及其占用的GPU/CPU内存。这是判断模型是否适合你机器的最直接方式。

5.2 常见错误与解决方案

  1. Connection refused 或 Failed to connect：

    • 检查服务：运行 systemctl status ollama 确保服务是 active (running)。
    • 检查端口：运行 netstat -tlnp | grep 11434 看11434端口是否在监听。
    • 防火墙：如果是远程服务器，检查防火墙或安全组是否放行了11434端口。

  2. Model not found：

    • 确认模型名：用 ollama list 确认模型已下载，且名字拼写正确（注意大小写和tag）。
    • 拉取模型：如果没下载，先用 ollama pull <model_name> 下载。

  3. 生成速度慢或内存不足（OOM）：

    • 换量化模型：这是最有效的办法。
    • 调整参数：减少 num_predict（最大生成长度）。
    • 关闭无关程序：释放更多内存给模型。
    • 检查GPU驱动：如果支持GPU，用 nvidia-smi 确认Ollama进程是否在使用GPU。

  4. LangChain调用超时：

    • 在初始化Ollama类时，可以增加超时设置：Ollama(..., request_timeout=60.0)。复杂的任务或生成长文本时，默认超时可能不够。

5.3 进阶技巧：使用Modelfile定制模型

Ollama有一个强大功能叫 Modelfile。你可以通过编写一个Modelfile来定制化你的模型，比如设置固定的系统提示词（System Prompt）、调整默认参数，甚至基于现有模型进行轻量级微调（LoRA）。 创建一个名为 Modelfile 的文件，内容如下：

FROM qwen2.5:7b
# 设置系统指令，塑造模型角色
SYSTEM """你是一个专业的软件开发专家，回答技术问题简洁准确，代码示例规范。"""
# 设置默认参数
PARAMETER temperature 0.2
PARAMETER num_predict 1024

然后使用命令 ollama create my-custom-qwen -f ./Modelfile 来创建一个名为 my-custom-qwen 的新模型。之后在LangChain中，你就可以用 model="my-custom-qwen" 来调用这个定制版模型了。这能让你在不同项目间快速切换预设好的模型行为，非常方便。

走到这里，你已经掌握了从零搭建一个完全本地化、功能强大的AI应用开发环境的核心技能。从Ollama服务的部署、模型管理，到通过LangChain进行灵活调用和复杂应用编排，这条技术路径为你打开了一扇新的大门。它最大的魅力不在于替代云端API，而在于提供了一种自主、可控、低成本的选择。你可以根据自己的需求随意尝试不同的模型，调整各种参数，而不用担心账单和隐私问题。我自己的很多实验性项目和小型工具都迁移到了这个架构上，那种“一切尽在掌握”的感觉，是单纯调用API无法比拟的。接下来，就放手去构建属于你自己的本地AI应用吧，从一个小小的脚本开始，感受开源模型和本地化部署带来的自由与力量。

# Ollama
Logo
https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

cover

四天蒸发近2000亿，宇树科技股价近乎“腰斩”；苹果举办库克告别派对：9月1日正式卸任CEO；Anthropic两款新Claude模型曝光 | 极客头条

avatar AI编程社区
cover

Claude Code反超GitHub Copilot登顶第一、90%程序员已用上Agent，最新AI编码调查报告来了

avatar AI编程社区
cover

如何用好 Claude Code 写后端代码

avatar AI编程社区