前文已经部署好了Ollama,现在需要安装一个客户端来调用我们的模型,来搭建本地的知识库。

1、安装Cherry Studio

Cherry Studio - 全能的AI助手Cherry Studio AI 是一款强大的多模型 AI 助手,支持 iOS、macOS 和 Windows 平台。快速切换多个先进的 LLM 模型,提升工作学习效率。https://www.cherry-ai.com/

去官网下载安装包直接默认安装即可。。。

2、添加模型服务

在设置里,启用本地的Ollama服务对接,设置好API地址,添加相关模型(值得注意的是,因为要做知识库,所有必须要有一个嵌入式的模型,比如比较推荐的bge-m3)

如果你没有安装bge-m3嵌入式模型,可以去ollama官网模型库里找一下安装的命令行进行安装,不是很大,1.2G:

https://ollama.com/library/bge-m3

3、设置本地知识库

进入到知识库页面中区,添加不同主题的知识库,这个自己去组织,然后在右边添加文件、目录、网址、网站、笔记等知识:

等待一段时间以后,如果文件边上出现了绿色的勾勾,说明已经解析完成了(注意,这个过程可能会比较久)。

4、检验知识库是否可用

在上面的界面底部,有一个绿色的按钮:搜索知识库。可以点击输入关键,先搜索一下,看看可不可以用,能命中关键字,说明已经OK了:

5、添加专用的智能体助手(若不想添加,在问题输入框里直接@也可以)

6、开始使用知识库

点击创建的智能体助手,在输入框中输入你要查询的信息,同时注意:

① 顶部的模型是否你要使用的模型,可以点击自由切换

② 底部输入框的@符号也可以切换使用的模型

③底部的小小放大镜图标,切换或启用需要的知识库(也就是上一步说的,如果不想设置知识库,可以在这里选择或切换)

如果找到了对应的信息,且是有源可查的,查询结果会显示引用内容,指向知识库里的相关文件。

如果没有找到对应的信息,大模型也会进行推理,得到你想要的信息。

7、如果不想用本地的模型,怕配置跟不上,可以直接调用外网的模型

比如,硅基流动:

比如,DeepSeek官网:

当然,还有其他厂商的模型,在列表中,大家可以按需去取。

在这里,有一个小建议:DeepSeek官网注册已经不能充值了,介入官网的KEY没法用,那么可以考虑去硅基流动注册账号,可以获得2000万token的奖励使用,也可以充值,也可以邀请人获得奖励,以下是我的邀请码,走过路过,不要错过~~

硅基流动统一登录硅基流动统一登录 硅基流动用户系统,统一登录 SSOhttps://cloud.siliconflow.cn/i/UFFaUpXv

硅基流动的模型广场,大家可以自己看看,自己调一调,想用哪个:

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐