从零搭建私人AI知识库助手：Ollama+LangChain+Streamlit全流程实战

2402_84010018

235人浏览 · 2026-07-19 15:25:59

2402_84010018 · 2026-07-19 15:25:59 发布

最近大模型应用开发大火，很多同学想入门AI实战，却被付费API、复杂部署、高端设备配置劝退。今天给大家分享一套纯本地、零费用、普通笔记本就能跑通的AI私人知识库搭建方案。

全程基于 Ollama + LangChain + Streamlit 三大热门技术栈，手把手带你实现「上传PDF/TXT文档+私有知识智能问答」的Web应用。不用联网调用第三方接口、没有任何付费开销，从原理到代码、从部署到优化全覆盖，新手也能一次跑通！

一、为什么强烈推荐大学生做这个项目？

很多同学纠结入门AI该练什么项目，要么太简单没技术含量，要么难度太高无从下手。这个项目完美适配大学生学习、求职、竞赛需求

1. 纯零成本，设备无门槛

全程本地开源部署，依托Ollama运行Qwen2.5、Llama3等轻量开源大模型，无需充值API、无调用次数限制、无需云端服务器。普通学生笔记本（Windows/Mac均可）、Python3.10以上版本就能流畅运行，彻底摆脱算力和资金限制。

2. 技术栈贴合企业招聘需求

本项目覆盖当前AI应用开发核心企业级技能：RAG检索增强生成架构、LangChain链路编排、向量数据库应用、大模型本地部署、前端Web快速开发。这些都是AI开发、后端开发、算法岗简历的高频加分项，远比普通爬虫、计算器项目更有含金量。

3. 落地效果直观，成就感拉满

不是枯燥的理论学习，也不是单一代码调试。最终会产出一个可视化Web网页应用，可以自主上传课件、笔记、论文、学习资料，实现专属私有知识问答。效果看得见、用得上，不管是写博客复盘、期末结课、简历项目展示都非常合适。

4. 深浅皆宜，适配全阶段学习者

对新手来说，全程手把手实操，复制代码就能运行，快速上手AI项目开发；对有基础的同学，可深入拆解向量嵌入、文档分块、检索优化、对话链路等核心原理，后续可自主迭代优化，学习深度完全可控。

二、项目效果预览 & 前置准备

1. 项目最终效果

我们最终实现的功能：

本地网页端一键上传 PDF、TXT 私有文档
自动解析、分割文档内容，生成专属向量知识库
基于上传的私有知识智能问答，拒绝通用大模型空话
流式输出回答，交互体验媲美在线AI工具

2. 环境前置要求

系统：Windows10+/MacOS 全系列通用
Python 版本：3.10 及以上（推荐3.10/3.11，兼容性最佳）
设备：普通笔记本即可，无需独立显卡

3. 核心工具安装教程

第一步：安装 Ollama

Ollama 是本地大模型部署神器，一键即可部署各类开源大模型，部署简单、占用资源低。

官网下载对应系统版本：Ollama，全程默认安装即可。

安装完成后，打开终端，拉取本次项目使用的轻量模型（Qwen2.5-0.5B，体积小、速度快、适配低配电脑）：

ollama pull qwen2.5:0.5b

等待模型下载完成，输入以下命令测试是否部署成功：

ollama run qwen2.5:0.5b

终端可正常对话即代表模型部署完毕。

第二步：安装项目依赖库

新建项目文件夹，打开终端，依次安装所需依赖：

pip install langchain langchain-ollama streamlit chromadb pypdf

简单说明依赖作用：

langchain/langchain-ollama：搭建RAG问答链路，对接本地Ollama模型
streamlit：快速搭建可视化Web前端界面
chromadb：轻量本地向量数据库，存储文档向量
pypdf：解析读取PDF文档内容

三、核心原理拆解：通俗搞懂RAG知识库工作流程

很多同学跑通代码后，不懂底层原理，面试一问三不知。这里用最通俗的话拆解 RAG检索增强生成 核心逻辑，全程无晦涩术语。

1. 完整工作链路

用户提问 → 文档解析分块 → 向量嵌入转换 → 向量数据库检索相似内容 → 拼接私有上下文 → 大模型结合知识生成专属答案

2. 核心概念通俗讲解

Embedding向量嵌入：简单说就是把文字转换成计算机能读懂的数字向量。语义相近的文字，向量数值越接近，方便后续精准匹配检索。
Chroma向量数据库：专门用来存储文档向量的轻量数据库，相比传统数据库，能快速根据语义相似度检索内容，是RAG项目的核心存储工具。
RAG核心优势：原生大模型只会根据训练数据回答，存在知识滞后、无法读取私有资料的问题。而RAG会先检索我们上传的私有文档，把专属知识喂给大模型，让AI基于我们的资料作答，精准度、专属度大幅提升。

四、手把手代码实现私人AI知识库

新建 app.py 文件，直接复制下方带详细注释的完整代码，逐段拆解功能，新手也能看懂。

# 导入所需工具库
import streamlit as st
from langchain_ollama import ChatOllama, OllamaEmbeddings
from langchain_community.document_loaders import PyPDFLoader, TextLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import Chroma
from langchain.chains import RetrievalQA
import os

# -------------------------- 1. 页面基础配置 --------------------------
st.set_page_config(
    page_title="私人AI知识库助手",
    page_icon="",
    layout="wide"
)
st.title(" 本地私人AI知识库问答助手")
st.caption("基于Ollama+LangChain+Streamlit搭建，零成本私有文档问答")

# -------------------------- 2. 初始化模型与参数 --------------------------
# 初始化本地大模型
llm = ChatOllama(model="qwen2.5:0.5b", temperature=0.3)
# 初始化本地向量嵌入模型
embeddings = OllamaEmbeddings(model="qwen2.5:0.5b")
# 定义文本分割器：拆分长文档，适配模型上下文窗口
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,      # 单块文本长度
    chunk_overlap=50,    # 块之间重叠字符，避免上下文断裂
    length_function=len
)

# -------------------------- 3. 文档加载与处理函数 --------------------------
def load_document(file_path, file_type):
    """加载PDF/TXT文档并完成分块"""
    if file_type == "pdf":
        loader = PyPDFLoader(file_path)
    elif file_type == "txt":
        loader = TextLoader(file_path, encoding="utf-8")
    else:
        return None
    # 加载并分割文档
    documents = loader.load()
    split_docs = text_splitter.split_documents(documents)
    return split_docs

# -------------------------- 4. 构建向量知识库 --------------------------
def create_vector_db(docs):
    # 新建/覆盖本地向量数据库
    vector_db = Chroma.from_documents(
        documents=docs,
        embedding=embeddings,
        persist_directory="./chroma_db"  # 数据库存储路径
    )
    vector_db.persist()
    return vector_db

# -------------------------- 5. 构建问答链路 --------------------------
def create_qa_chain(vector_db):
    # 配置检索器：返回最相关的3个文档片段
    retriever = vector_db.as_retriever(search_kwargs={"k": 3})
    # 构建检索问答链
    qa_chain = RetrievalQA.from_chain_type(
        llm=llm,
        retriever=retriever,
        return_source_documents=True  # 返回参考文档片段
    )
    return qa_chain

# -------------------------- 6. 前端交互逻辑 --------------------------
# 侧边栏：文档上传模块
with st.sidebar:
    st.header("上传私有文档")
    uploaded_file = st.file_uploader("支持PDF、TXT格式", type=["pdf", "txt"])
    # 处理上传文件
    if uploaded_file is not None:
        # 临时保存文件
        file_path = f"./temp_{uploaded_file.name}"
        with open(file_path, "wb") as f:
            f.write(uploaded_file.getbuffer())
        
        # 判断文件类型并加载处理
        file_type = uploaded_file.name.split(".")[-1]
        with st.spinner("正在解析文档、构建知识库..."):
            docs = load_document(file_path, file_type)
            vector_db = create_vector_db(docs)
            qa_chain = create_qa_chain(vector_db)
            st.success("知识库构建完成！可开始提问")
        
        # 删除临时文件
        os.remove(file_path)

# 主页面：问答交互模块
question = st.text_input("请输入你的问题（基于上传文档作答）")
if question and uploaded_file:
    with st.spinner("AI正在思考..."):
        result = qa_chain.invoke({"query": question})
        # 流式输出答案
        st.write("回答结果")
        st.write(result["result"])
        # 展示参考文档片段
        with st.expander("查看参考文档内容"):
            for doc in result["source_documents"]:
                st.write(doc.page_content[:300] + "...")

完整可运行代码（分段注释）