今天继续讲利用Ollama+DeepSeek+AnythingLLM轻松投喂打造本地大模型知识库

image-20250208183704501

Ollama

Ollama简介

Ollama 是一款提供本地部署和管理大模型的工具，可以轻松将不同的 AI 模型集成到本地环境中，并提供易于使用的界面和管理功能。你可以利用 Ollama 创建、启动和管理多个 AI 模型，并根据需要灵活配置不同的模型参数。

安装Ollama

​

安装成功，查看版本和启动服务

查看版本：      PS C:\Users\Administrator\Desktop> ollama -v   ollama version is 0.5.7      查看大模型   PS C:\Users\Administrator\Desktop> ollama list   NAME                     ID              SIZE      MODIFIED   llama3-cn-8b:latest      d710bb08d58c    6.6 GB    23 hours ago   llama2-chinese:latest    cee11d703eee    3.8 GB    42 hours ago   deepseek-r1:14b          ea35dfe18182    9.0 GB    2 days ago   qwen2.5:latest           845dbda0ea48    4.7 GB    2 days ago   deepseek-r1:7b           0a8c26691023    4.7 GB    2 days ago   llama3:latest            365c0bd3c000    4.7 GB    2 days ago

AnythingLLM

这是一个全栈应用程序，可以将任何文档、资源（如网址链接、音频、视频）或内容片段转换为上下文，以便任何大语言模型（LLM）在聊天期间作为参考使用。此应用程序允许您选择使用哪个LLM或向量数据库，同时支持多用户管理并设置不同权限。

开源中文： https://github.com/Mintplex-Labs/anything-llm/blob/master/locales/README.zh-CN.md

产品概览

AnythingLLM是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与您提供的任何文档智能聊天。

AnythingLLM将您的文档划分为称为workspaces (工作区)的对象。工作区的功能类似于线程，同时增加了文档的容器化，工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。

AnythingLLM特性

  • • 多用户实例支持和权限管理

  • • 全新的可嵌入式聊天小部件，适用于您的网站

  • • 支持多种文档类型（PDF、TXT、DOCX等）

  • • 通过简单的用户界面管理您的向量数据库中的文档

  • • 两种聊天模式：对话模式和查询模式。对话模式保留之前的问题和修改记录。查询模式用于对您的文档进行简单的问答。

  • • 聊天中的引用文献功能

  • • 完全适用于云部署。

  • • "自带 LLM "模型。

  • • 极其高效的成本节约措施，用于管理非常大的文档。您将永远不会为嵌入的大型文档或转录付费超过一次。比其他文档聊天机器人解决方案更省成本，降低 90%。

  • • 提供完整的开发者 API，用于自定义集成！

AnythingLLM下载与安装

下载： https://anythingllm.com/desktop

AnythingLLM也提供 macos、Window、Linux系统的下载

根据自己的系统下载，我这边下载Windows

image-20250208173023447

下载文件之后点击安装

image-20250208173941942

（鉴于很多朋友无法下载ollama以及AnythingLLM，这里给大家整理好了安装包，扫描领取即可↓↓↓↓）

​

AnythingLLM配置

AnythingLLM默认通过Ollama来使用LLama2 7B，Mistral 7B，Gemma 2B等模型，也可以调用OpenAI、Gemini、Mistral等大模型的API服务。

此前，我已经安装了Ollama，那么只要选择Ollama，输入调用的API接口URL，再选择此前已经下载的Gemma模型即可。

1.打开软件

get started

image-20250208174317674

2.选择模型

这里选择Ollama并且选择 deepseek-r1:7B,这里选择你的已经安装的模型。

然后再点击向右的箭头，下一步。

image-20250208174532563

3.下一步

点击下一步，这里不用配置。

image-20250208174755881

4.填邮箱，可跳过

image-20250208174832482

5.填入工作区名称

这里我随便取一个名字“产品计划”

image-20250208174948521

修改聊天提示

这里把英文的聊天提示改成中文否则AI会用英文回答你。

image-20250208175722804

生成文档

我这边用ai生成一个文档，写入本地成word，等下就让deepseek去学习这篇文章

你是一个互联网的产品经理
1.写一篇文章虚拟一个APP产品
2.这个产品集成了微信、微博、小红书、抖音、支付宝、Line、youtube等所有中外app的优点
3.文档不少于5000字
4.这个app的名字叫“宙斯app”，写一篇文档介绍它

文档名《宙斯APP：全能社交与支付平台的未来.docx》

image-20250208175239105

投喂知识

1.点击上传按钮

image-20250208175956673

2.上传文件

上传文件并且移动到工作区。

image-20250208180151740

遇到问题

Error:1 documents failed toadd.
The specified module couldnot be found.?\C:\ProgramFiles\AnythingLLM\resources\backend\node modules\onnxruntime-node\bin\napiv3\win32\x64\onnxruntime binding.node

image-20250208180304121

解决办法：

在设置，点击Embedder ， 设置 Ollama 使用

image-20250208182325588

3.再次导入文档

现在可以导入了，并且把图钉点上！

image-20250208182605126

一定要把图钉点上！一定要把图钉点上！一定要把图钉点上！

image-20250208182548315

对比使用

没有投喂文档的回答

image-20250208182955547

这是投喂了文档的回答。

image-20250208182838718

结束

通过将 Ollama、DeepSeek 和 AnythingLLM 三者结合，你可以轻松地构建一个本地大模型知识库。这种方法不仅能够帮助你高效地管理和组织信息，还能够提升你的工作效率，尤其是在处理海量文本、资料时，能够通过深度学习的能力快速找到最相关的内容。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

# 人工智能 # 自然语言处理
Logo
https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

cover

国内使用 Codex 配置教程：base_url 直接用 kkflow.org

avatar AI编程社区

Sem 语义 Git 工具深度解析：AI Agent 代码理解的“新原语“与 2.3 倍准确率提升

它让 AI Agent 不再"看行"，而是"看实体"。如果你在构建 AI 代码审查流程：Sem 是必须品，不是奢侈品。2.3 倍的准确率提升意味着显著减少人工复核的工作量。如果你在用 Claude Code 或 Codex：通过 MCP 集成 Sem，让 Agent 的代码理解能力上一个台阶。如果你是工具开发者：Sem 的"实体级版本控制"范式值得关注。未来的 AI 编程工具很可能都会采用类似的思

avatar AI编程社区

2026深度实测｜Cursor替代品有哪些，中文vibe coding迭代真实对比

TRAE拥有IDE模式、Work模式（原 SOLO 模式）、Builder模式、CUE智能预测四大核心功能，Work模式（原 SOLO 模式）提供Agent级别的自主开发能力，同时以完整IDE形态呈现，可视化和终端兼顾，也就是TRAE核心优势。①我的口语化需求：编写Python pandas脚本，读取知识付费课程订单csv日志，清洗订单空值、重复下单记录、字段首尾中文空格，筛选近14天付费订单，统

avatar AI编程社区