前言：为什么你需要一个 AI 知识库？

团队的合同散落在共享盘，产品说明存在六个版本，客户问一个技术参数你得翻三份 PDF……这就是传统的“文档管理”——存进去了，却很难用出来。

AI 知识库的本质是：把非结构化的文档（PDF、Word、Markdown、网页等）切片、向量化，然后通过大语言模型进行语义检索与生成。
简单说：你问它“我们产品的最大承重是多少？”，它会从一堆技术手册里找到答案，并组织成通顺的话回复你。

而 Dify 正是目前最流行的开源 LLM 应用开发平台之一，它内置了知识库（RAG）全流程，界面友好，无需写代码，10 分钟就能跑通。

本地部署Dify+Ollama

如何部署Dify+Ollama，请参考我的另一篇文章Windows本地化部署Dify+Ollama：从零打造私有化AI应用的保姆级教程。

创建你的第一个知识库

登录后，在顶部菜单中找到 “知识库”，进入页面后点击 “创建知识库”。

选择数据源

Dify支持：导入已有文件、同步自Notion内容、同步自web站点。
在这里，我采用导入已有文件这种方式的数据源。Dify支持以下格式的数据导入：MDX、MARKDOWN、HTML、HTM、TXT、PDF、CSV、XLS、XLSX、DOC、DOCX。
实操：我上传了一份《企业负责人薪酬管理办法》，Dify 自动将其拆成 64个段落，并展示预览。

选择 Embedding 模型

Embedding 模型负责把文本转成向量，用于相似度检索。
自托管：可接 ollama 跑 nomic-embed-text、bge-m3 等免费模型。
点击 “保存并嵌入”，等待几分钟（取决于文件大小和模型）。完成后，知识库状态变成“可用”。

ollama 配置nomic-embed-text

打开终端（Windows就是CMD）输入：ollama pull nomic-embed-text
模型名称：nomic-embed-text
模型类型：Text Embedding
基础URL:http://host.docker.internal:11434
点击添加完成配置。

创建 AI 聊天应用

1.新建应用并关联知识库
点击顶部导航工作室，回到工作室窗口，点击创建空白应用。类型选择聊天助手，命名为文档顾问，进入编排页面，在上下文中点击添加，选择刚才创建并导入数据的知识库，检索方式保持为混合检索，TopK设为4。



2.设置系统提示词
在提示词编辑器中输入（请务必注意“严格基于”这个限定，它能有效防止模型胡编乱造）：

text

你是一个专业的技术文档顾问。
请严格基于知识库中提供的内容回答问题。
如果知识库里没有相关信息，请明确说“文档中没有提到”，不要编造。
回答时尽量引用原文档的段落位置。
始终使用中文回答。

3.测试问答

text

问：公司总部的责任？

结语：从“存文档”到“用知识”

传统文件夹 + 全文搜索，不过是“关键字匹配”。而本地 Dify + Ollama 搭建的知识库，让你的文档真正“活”了起来——它理解问题、精准定位、生成答案，而且所有数据都掌握在你自己手中。

无论你是个人开发者想打造私有的“第二大脑”，还是在企业内部建设 AI 辅助系统，这套方案都能帮你用最低成本、做到最高隐私保护。

现在就去动手试试吧！

资源链接：

Dify 官网：https://dify.ai
Dify GitHub：https://github.com/langgenius/dify
Ollama 官网：https://ollama.com
如果这篇教程帮你成功搭建了本地知识库，欢迎在评论区分享你的实践成果。遇到问题也可以留言，我会尽力帮你解答。