前言

DeepSeek-R1火了之后，Ai老板部署需求大大提升，抛开效果不谈，五件套易用性和灵活性相比VLLM大大提升，门槛较低，但是效果不言而喻。

以下部署全部以docker方式进行，因为太方便了,但同时坑很多，请做好心理准备

喜欢折腾的同学可以按照下面教程进行部署，我也是被逼无奈

请杯子里面装满水，原地坐牢，不出意外的话就马上出意外了，一个BUG一支烟

Xinference部署

Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。

项目地址：https://github.com/xorbitsai/inference#/ 文档地址：https://inference.readthedocs.io/zh-cn/latest/#/

docker run \
  --name xinference \
  -d \
  -p 9997:9997 \
  -e XINFERENCE_HOME=/data \
  -v $(pwd):/data \
  --gpus all \
  xprobe/xinference:latest \
  xinference-local -H 0.0.0.0

1. docker run- 启动一个新的Docker容器
2. --name xinference- 将容器命名为"xinference"
3. -d- 以分离（后台）模式运行容器
4. -p 9997:9997- 将容器的9997端口映射到主机的9997端口
5. -e XINFERENCE_HOME=/data- 设置环境变量，指定Xinference的主目录为容器内的/data
6. -v $(pwd):/data- 将当前工作目录挂载到容器内的/data目录，实现数据持久化
7. --gpus all- 允许容器使用主机上的所有GPU资源
8. xprobe/xinference:latest- 使用最新版本的xprobe/xinference镜像
9. xinference-local -H 0.0.0.0- 在容器内运行xinference-local命令，并设置主机地址为0.0.0.0（允许从任何IP地址访问）

部署成功之后可以直接访问:http://localhost:9997

部署一个reranker

选择从modelscope下载速度比较快

部署成功之后

RAGFlow部署

RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。

项目地址：https://github.com/infiniflow/ragflow 文档地址：https://ragflow.io/docs/dev/

步骤1：克隆仓库

$ git clone https://github.com/infiniflow/ragflow.git
$ cd ragflow/docker
$ git checkout -f v0.17.2

步骤2：使用预构建的Docker镜像并启动服务器

注意： 下面的命令会下载v0.17.2-slim版本的RAGFlow Docker镜像。有关不同RAGFlow版本的说明，请参考下表。如果要下载不同于v0.17.2-slim的RAGFlow版本，请在使用docker compose启动服务器之前，在docker/.env中相应地更新RAGFLOW_IMAGE变量。例如：设置RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.2以获取完整版本v0.17.2。

# 使用CPU进行嵌入和DeepDoc任务：
$ docker compose -f docker-compose.yml up -d

# 使用GPU加速嵌入和DeepDoc任务：
# docker compose -f docker-compose-gpu.yml up -d

问题3： ragflow-mysql is unhealthy

dependency failed to start: container ragflow-mysql is unhealthy

依次执行：

docker compose down -v 

docker compose up

https://blog.csdn.net/qq_63490595/article/details/145803280#/

不出意外的话要出意外了！ http://localhost:81/login#/

• 81是修改了默认web端口

Dify部署

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。

项目地址：https://github.com/langgenius/dify 文档地址：https://docs.dify.ai/zh-hans#/

下载对应版本：

https://github.com/langgenius/dify/tags

访问安装页面：

http://localhost/install

启动报错pgdata: Operation not permitted

以下是关于解决 PostgreSQL 权限错误的步骤的中文翻译：

错误/var/lib/postgresql/data/pgdata: Operation not permitted通常是由于 PostgreSQL 尝试使用的目录存在权限问题。以下是解决步骤：

1. 确保目录存在:

mkdir -p ./volumes/db/data

1. 设置正确的权限:

sudo chown -R 999:999 ./volumes/db/data

1. 验证 Docker Compose 配置：确保你的docker-compose.yaml文件正确映射了 PostgreSQL 的卷。示例：

version: '3'
services:
  db:
    image: postgres:15-alpine
    restart: always
    environment:
      PGUSER: postgres
      POSTGRES_PASSWORD: difyai123456
      POSTGRES_DB: dify
      PGDATA: /var/lib/postgresql/data/pgdata
    volumes:
      - ./volumes/db/data:/var/lib/postgresql/data
    healthcheck:
      test: [ "CMD", "pg_isready" ]
      interval: 1s
      timeout: 3s
      retries: 30

1. 清理现有数据:

sudo rm -rf ./volumes/db/data/*

1. 运行 Docker Compose:

docker compose up -d

dify docker部署后，在install界面卡住，step请求报502的问题解

具体可参考：https://blog.csdn.net/qq_53597256/article/details/143745465#/

postgres报错

修正后

新的 _docker-compose.yaml

# PostgreSQL 数据库
db:
image:postgres:15-alpine
restart:always
environment:
    PGUSER:xxxx
    # 默认 postgres 用户的密码
    POSTGRES_PASSWORD:xxxx
    # 默认的 postgres 数据库名称
    POSTGRES_DB:dify
    # PostgreSQL 数据目录
    PGDATA:/var/lib/postgresql/data/pgdata
volumes:
    -db_data:/var/lib/postgresql/data
# 取消注释以将数据库（PostgreSQL）的端口暴露给主机
# ports:
#   - "9999:9999"
healthcheck:
    test:["CMD","pg_isready"]
    interval:1s
    timeout:3s
    retries:30

# 添加卷名称
volumes:
db_data:

简而言之，修复了以下问题：

volumes:
  - db_data:/var/lib/postgresql/data

在文件最后并添加了以下内容：

# 添加卷名称
volumes:
  db_data:

Ollama部署

Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。

Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型，支持文本生成、翻译、代码编写、问答等多种自然语言处理任务。

Ollama 的特点在于它不仅仅提供了现成的模型和工具集，还提供了方便的界面和 API，使得从文本生成、对话系统到语义分析等任务都能快速实现。

与其他 NLP 框架不同，Ollama 旨在简化用户的工作流程，使得机器学习不再是只有深度技术背景的开发者才能触及的领域。

Ollama 支持多种硬件加速选项，包括纯 CPU 推理和各类底层计算架构（如 Apple Silicon），能够更好地利用不同类型的硬件资源

Ollama 下载：https://ollama.com/download

Ollama 官方主页：https://ollama.com

Ollama 官方 GitHub 源代码仓库：https://github.com/ollama/ollama/

运行模型

ollama run deepseek-r1:14b

以下是Ollama在Windows系统中常用的环境变量表格，包含了描述和示例值：

环境变量	描述	默认值	示例值
OLLAMA_HOST	指定Ollama服务器的主机地址和端口	127.0.0.1:11434	0.0.0.0:11434 或 192.168.1.100:11434
OLLAMA_MODELS	指定模型文件的存储位置	%USERPROFILE%.ollama\models	D:\ollama\models
OLLAMA_KEEP_ALIVE	控制模型在内存中保持加载状态的时间(秒)	5分钟(300秒)	1800 (30分钟)
OLLAMA_VERBOSE	启用详细日志输出	0	1
OLLAMA_TIMEOUT	API请求超时时间(秒)	30	60

设置这些变量后，记得重启Ollama服务或重新打开命令行窗口以使更改生效。

缝合怪如何集成组件

• RAGFlow集成Ollama

deepseek-r1:14b 基础 Url http://host.docker.internal:11434 API-Key 最大token数 8192

• RAGFlow集成Xinference 重排序模型

我在Xinference 运行了一个排序模型
ip填写本机地址

• Dify集成Ollama模型

• Dify集成Xinference 排序模型

• Dify集成Xinference 向量模型

Dify集成RAGFlow

• 获取RAGFlow知识库id

• Dify添加外部知识库

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。

最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入，精准学习显得尤为重要。一份系统的技术路线图，不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点，还能提供一条高效、有序的学习路径。

但知道是一回事，做又是另一回事，初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性，在这基础上，找到高质量的学习资源，不浪费时间、不走弯路，又是重中之重。

AI大模型入门到实战的视频教程+项目包

看视频学习是一种高效、直观、灵活且富有吸引力的学习方式，可以更直观地展示过程，能有效提升学习兴趣和理解力，是现在获取知识的重要途径

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

海量AI大模型必读的经典书籍（PDF）

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

600+AI大模型报告（实时更新）

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

AI大模型面试真题+答案解析

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】