​ 今天给大家介绍一下关于dify和ragflow知识库整合案例,顺便给大家介绍一下ragflow。

​ 话不多说,下面给大家演示一下效果。

​ 我们首先看一下ragflow测试效果

在这里插入图片描述

​ 上面是使用ragflow 自己的知识库检索获得查询结果。

​ dify上使用外部知识库(ragflow)效果

在这里插入图片描述

​ 这里它也是通过知识库获取萧瑟这人物的信息。效果感觉和上面有点差异,这里可能是用的大语言模型总结能力的差异。另外还有模型温度等设置有差异。这里我们就不纠结它了,本文主要教会大家如何使用。

​ 通过上述方式我们就已经实现了dify通过外部接口实现知识库检索增强。 下面介绍一下这块是如何实现的。

2.ragflow 安装(简介)

​ 关于ragflow 安装比较复杂,大家可以去开源github上查看它的安装,本次就不带大家安装了。

​ 项目开源地址:https://github.com/infiniflow/ragflow

​ 项目文档: https://ragflow.io/docs/dev/

在这里插入图片描述

​ 目前这个项目用到的组件比较多,用到Elasticsearch、Kibana、MySQL、MinIO、Redis、RAGFlow等,大家可以参考官方文档部署好应用程序。

​ 这里我们需要注意的几点。RAGFlow 对外提供3个端口服务 80 、443 、9380 其中接口用到了9380 后面和dify整合会用到。

在这里插入图片描述

​ 我们使用docker ps 也可以看到占用的端口情况

img

​ 安装好后,配置好模型,创建好知识库。

​ 配置好模型

img

​ 这个配置和其他工具模型配置类似,这里就不详细展开。

👉[CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)]()👈


3.ragflow 创建知识库

​ 创建好知识库,点击ragflow 创建知识库。

img

​ 进入模型设置界面 选择好嵌入模型和解析方法

img

这里解析方法比较多,我们这里就选择general 大家可以自己摸索 其他的解析方法。ragflow 这块做的比较强大。点击确定进入数据集页面

img

我们点击新增加文件。上传我们要解析的私有化知识库文档,然后点击解析完成文档向量化。

img

​ 程序提供单个文件解析,同时也提供批量解析,大家可以根据自己的需要选择使用。

4.ragflow 知识库检索

​ 回到聊天窗口界面

img

​ 聊天窗口配置有3个选项面板(助理设置、提示引擎、模型设置)

助理设置,这里最关键就是 填写助理姓名和选择指定的知识库

img

​ 提示引擎 如果大家没有 Rerank模型 可以默认不选。

img

​ 模型设置,这里需要填写选择一个LLM大语言模型作为推理模型使用。

img

​ 以上设置完成后就可以进行聊天对话了。

img

​ 以上设置我们完成了ragflow相关设置。

5.ragflow API 设置

​ 我们接下来是需要dify调用这个ragflow ,所以我们需要设置一下ragflow api key.

​ 点击系统右上角,选择 API

img

​ API 服务器 显示ragflow 对外提供的IP. 我的显示是192.168. XXX.XX

img

​ 点击上面key生成ragflow 对外提供的API

img

​ 下面就是ragflow 对外提供的HTTP 请求API接口文档,这里就不详细展开。

img

6.dify配置外部知识库

​ 我们回到dify 工作流管理界面,点击上面知识库。点击链接外部知识库。

img

​ 我们也可以点击右边的外部知识库API 先把外部知识库API 配置好。

img

​ 这里我需要添加3个值

1: name 这个可以随便写一个名字

2: API Endpoint 这个就是和ragflow 整合的地址

​ 因为我们的RAGflow 对外提供的是192.168.xx.xx 我这里填写
http://192.168.XX.XXX:9380/api/v1/dify

img

  1. api key 就是上面ragflow-开头的api KEY

​ 连接外部知识库

​ 外部知识库 API 从我们刚才配置的下拉选择,

img

​ 这个外部知识库 ID 如何获取呢?我们回到RAGflow 知识库画面,浏览器F12把调试画面打开,查看list 接口返回,我们找到少年歌行的知识库 找到这个ID=5c93a392f8a411ef96e60242ac120004.把这个值记录下来。

img

​ 把刚才抓取的ID 复制到dify 配置外部知识库 ID

img

点击链接完成dify 和ragflow知识库连接整合。

img

​ 通过上图我们看到dify 和ragflow已经实现整合了。

img

7.dify ai agent使用外部知识库

img

​ 进入ai Agent 聊天界面,在上下文添加外部知识库。

img

​ 后面就可以进行知识库检索了,检索的是调用通过工具调用知识库。

img

​ 以上我们就完成了dify +ragflow 的整合了。

8.总结

​ 今天主要带大家介绍了 Dify 与 ragflow 知识库检索整合的案例。首先回顾了之前 Dify 知识库检索存在的不足,引出了 ragflow 在知识库检索方面的优势。关于 ragflow 部分,介绍了其安装(因复杂未详细展开,给出了开源地址和文档),说明了用到的组件及对外提供的端口服务,讲述了创建知识库的流程(包括模型设置、选择解析方法、上传文档解析向量化等),还介绍了 ragflow 知识库检索的相关设置(助理设置、提示引擎、模型设置)以及 API 设置(获取 API 服务器 IP、生成 API key 等)。对于 Dify 部分,介绍了配置外部知识库的操作(添加 name、API Endpoint、api key 等),以及如何获取外部知识库 ID 完成连接整合,最后还提到了 Dify ai agent 如何使用外部知识库进行检索。

​ 通过上述一系列介绍,我们完成了 Dify 和 ragflow 的整合,实现了 Dify 通过外部接口实现知识库增强。今天的分享就到这里,希望能帮助大家更好地理解和运用 Dify 与 ragflow 知识库检索整合的方法,我们下次分享再见。

RAGFlow系统架构图:

317212466-d6ac5664-c237-4200-a7c2-a4a00691b485

如何学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

那么针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)]()👈

学习路线

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐