2026年，大模型已经不仅仅是聊天机器人了，而是广泛应用在各行各业。

要说大模型在企业中落地最明显的两个场景，一个是知识库问答，对应的是智能客服、企业规章制度问答等；第二个是Vibe Coding，即使用Claude Code等Agent辅助开发程序。

开发程序普通人可能用不上，知识库问答是我们在日常工作中更可能接触到的业务。那么知识库是什么？如何搭建？

知识库是什么

说知识库之前，我们先来看下大模型，之所以大模型"无所不知"是因为大模型的训练阶段"吃"进去大量的知识内容，包括网页、百科、新闻等公开资料。大模型擅长回答在训练阶段见过或类似的问题。

知识库问答与RAG

对于实时的问题，常见AI产品会使用网页搜索功能来查询；对于企业内部知识的问题，一般会使用知识库来解决。

简单来说，知识库就是将企业已有的制度文件、业务文档、办事流程、常见问题等资料整理后，供系统检索和调用的资料集合。

知识库问答的原理是将问题相关的资料与用户的问题一起发给大模型，这样大模型便可以优先基于检索资料来回答问题，从而极大地提高问题回答质量。

详细来说，知识库问答常用的核心技术叫做RAG（Retrieval-Augmented Generation），即检索增强生成。

RAG 典型流程包括将文档的文本向量化、语义检索以及结果融合生成等步骤。通过将特定领域知识以向量形式存储在向量数据库中，RAG系统能够在用户提问时与向量数据库中的向量进行向量相似度匹配，并获取与问题最相关的知识片段。

相比于仅依赖通用知识的大语言模型，RAG技术能够有效缓解模型知识不足和幻觉问题，在特定领域知识问答任务中具有较好的应用效果。

RAG的工作流程

RAG技术应用的工作流程如下：

（1）本地知识库向量化存储。用户的本地文档，如Word、PDF、TXT等可以转换成文本的资料，使用非结构化文档加载器（Unstructured Loader）转换为文本，使用文本切分器根据切分规则切分为文本片段，然后将文本片段使用Embedding模型计算向量存储至向量数据库中，此时便构建好了可检索的知识库。

（2）语义检索与构建Prompt阶段。在此阶段，用户问题使用Embedding模型向量化为查询向量，然后可以使用余弦相似度与向量数据库中的向量进行匹配，检索最相似的几个文本片段，然后使用提示词模板构建为新的提示词。其中，对于两个n维向量A=(a1,a2,⋯,an)和B=(b1,b2,⋯,bn)，余弦相似度（Cosine Similarity）计算公式为：

$$CosineSimilarity(A,B)=\frac{{\sum }_{i=1}^n{a}_i{b}_i}{\sqrt{{\sum }_{i=1}^n{a}_i^2}\sqrt{{\sum }_{i=1}^n{b}_i^2}}$$

在上述公式中，ai和 bi 分别表示向量A和B在第i个维度的分量，∑表示对所有维度求和，分母为两个向量的欧几里得范数（即向量长度），在实际文本向量匹配中，余弦相似度取值范围为0到1，值越接近1表示两个向量越相似，即用户问题与向量数据库中的内容匹配度越高。

（3）将构建完成的提示词发送给大模型，大模型根据用户问题、相关文本片段以及预置的提示词回答问题。

通过上述工作流程可以发现，RAG应用回答质量好坏与以下内容相关：本地知识库、Embedding模型、文本切分规则、检索的文本片段数量、预置提示词、大模型等。

为什么选择Dify

为什么使用Dify呢？先看下当前主流的知识库问答平台Dify、LangChain、云厂商方案等技术平台对比。

Dify配置难度适中，具有可视化界面，且可以私有化部署，综合生态较好，适合学校、企业内部使用。

从安全角度考虑，企业内部数据应尽量避免暴露至云服务厂商，Dify、LangChain等平台私有化部署时不需要将内部知识文档上传。此外，使用Dify或LangChain可以接入本地大模型，这种方案可以确保数据不出本地，有着极高的自由度、安全性及拓展性。

实战

以上我们了解了知识库问答的作用和工作原理，接下来我们用Dify完成一个知识库问答助手。

1. 安装Dify

参考官方指引，使用Docker Compose 可以很快启动Dify，链接放在下边了

https://docs.dify.ai/zh/self-host/deploy/quick-start/docker-compose

2. 申请大模型API KEY

根据RAG的工作原理，我们至少需要两个模型，即LLM与Embedding模型，还可以再增加一个重排序（Rerank）模型，用于根据候选文档列表与用户问题语义匹配度进行重新排序，从而改进检索结果质量。

那么，哪个厂商同时支持上述三类模型呢，目前主流的厂商有阿里云百炼、智谱AI等。在前期学习阶段，为了方便使用不同的模型测试，推荐使用硅基流动平台，后续业务稳定了再考虑使用厂商官方API。还有一个推荐理由，硅基流动平台注册可获得16元代金券，可以零充值满足初期学习使用。

https://cloud.siliconflow.cn/i/AEg95IPc

3. 在Dify平台创建知识库

点击Dify中的知识库——导入已有文本，然后上传知识库资料，即企业内部的制度、文档等资料，这里支持MarkDown、Docx、TXT等格式的文件。

上传文件成功后点击下一步，索引方式选择高质量，Embedding 模型我们选择Qwen/Qwen3-Embedding-8B，该模型在中文RAG、制度文件场景下表现较好。Rerank模型这里选择Qwen/Qwen3-Reranker-8B。

提醒一下，如果你是在构建自己的知识库问答，可以问下LLM在你的场景下用什么模型更合适。

检索设置选择混合检索，Top K选择5，即可筛选的文档相关片段的数量。完成上述步骤后，点击保存并处理，稍等片刻即可处理完成。

4. 构建知识库问答助手

在工作室——创建空白应用中选择聊天助手，然后点击创建。

创建好以后，在提示词这里输入：

你是校小智，学校制度问答助手，负责根据知识库回答师生关于学生手册、人事、财务、科研、教务、学生管理等问题。回答必须依据知识库内容，附带使用的知识库文档章节，例如：引用自xx文件xx章；无明确依据时说明"知识库中暂未找到明确依据"，不得编造。涉及审批、金额、时间、资格等事项，提醒以学校正式文件和主管部门解释为准。

在页面右上角选择chat使用的模型，这里可选Qwen/Qwen3.5-397B-A17B模型，思考模式选择False，这样输出会快一些。

然后我们来看下回答结果吧：

对比一下原文：

可以看到，我们提问的问题答案确实来自于我们上传的知识库，且附上了引用的章节，达到了我们使用知识库问答的目的。

5. 发布聊天应用

在完成应用搭建后，如果我们需要让企业内部同事使用该应用，我们需要发布应用。点击右上角的发布，点击运行即可打开部署好的知识库应用。

如图所示，现在打开的链接已经可以分发给同事使用了。当然，不要发127.0.0.1。

总结

本文分析了RAG原理、完成了知识库问答应用的部署。使用Dify部署RAG应用支持私有化部署，同时支持方便地将应用发布，供企业内部使用，相较于使用代码自建知识库应用，极大地提高了应用上线速度。

当然也有一定局限，本文搭建的RAG应用属于极速上线版，生成回答质量并不稳定。

我们前边提到，RAG的效果与文档拆分、向量模型、Rerank等有关，为提升回答质量，往往需要在RAG工作的各个环节进行分析优化，这就需要我们不断深入学习与实践了。