Dify+Ollama本地部署
Dify+Ollama本地部署
第一步:配置环境💻
本地配置Dify需要安装Docker desktop,而想要安装Docker desktop需要安装windows 下的linux子系统(WSL)
- 安装 WSL2
wsl --install
第二步:安装并配置Dcoker Desktop
- 安装
微软软件商店直接下载Dcoker Desktop
第三步:本地安装部署Dify
-
下载Dify
-
配置Dify源码
dify-main的目录结构如下:
进入如下路径:
“…\dify-main\docker”
找到.env.example文件,修改文件名为.env (即去掉.example后缀)
- 启动Docker容器
在docker文件夹中打开终端,输入
docker compose up -d
运行项目并下载源码
bash
1
等待Docker拉取Dify所需的镜像
若拉去镜像失败,可以尝试给docker配置国内镜像
- 访问Dify
完成后,进入浏览器,输入网址:http://localhost/apps
该网址是访问本地部署的dify
即可进入dify界面
首次登陆需要进行注册和设置管理员账户
✅ 完成后可进入上图所示界面
第四步:部署本地大模型
- 下载安装Ollama
Ollama官网
Ollama下载页
Ollama官方Github仓库
等待浏览器下载好,双击OllamaSetup.exe文件,直接点击Install按钮即可下载
⚠️Ollama默认安装在C盘,无法修改安装路径
- 验证安装
安装完成后Ollama会自动启动,任务栏会有小羊驼图标
在PowerShell 或 CMD 中输入
ollama --version
运行项目并下载源码
bash
1
若有类似 ollama version is 0.12.6 的输出则说明安装成功
- 修改大模型存储位置
Ollama的大模型默认储存在 C:\Users[你的用户名].ollama\models 路径下
若C盘空间不足,需要提前修改存储路径
打开Ollama,进入Settings
找到Model localtion,可自由修改路径
- 下载大模型
进入Ollama官网的Models页面,可以找到自己需要的大模型。
点击进入需要的大模型,选中具体的大模型参数,并复制下载命令
根据个人电脑性能选择不同参数的大模型,具体的电脑配置对应的大模型参数可自行查询
在PowerShell 或 CMD 中输入复制的命令,等待模型下载。
由于需要在Dify中 搭建知识库,并使用智能体,需要安装一个LLM(大语言模型,也是系统推理模型),以及一个EMBEDDING模型(知识库文档嵌入处理模型)
LLM模型推荐deepseek-r1, qwen3
embedding模型推荐bge-m3:latest
- 验证模型下载
在 PowerShell 或 cmd 中输入
ollama list
1 运行 Ollama
与 qwen2:0.5b 聊天
ollama run qwen2:0.5b
启动成功后,ollama 在本地 11434 端口启动了一个 API 服务,可通过 http://localhost:11434 访问。
2 Dify 中接入 Ollama
2.1 添加模型
在 设置 > 模型供应商 > Ollama 添加模型:
填写 LLM 信息:
模型名称:以 ollama 返回的为准
$ ollama ls
NAME ID SIZE MODIFIED
qwen2:0.5b 6f48b936a09f 352 MB 7 months ago
那就得填写:qwen2:0.5b
基础 URL:http://:11434
此处需填写 Ollama 服务地址。如果填写公开 URL 后仍提示报错,请参考常见问题,修改环境变量并使得 Ollama 服务可被所有 IP 访问。
若 Dify 为:http://192.168.65.0:11434
Docker 部署,建议填写局域网 IP 地址,如:http://192.168.1.100:11434 或 Docker 容器的内部 IP 地址,例如:http://host.docker.internal:11434
若为本地源码部署,可填 http://localhost:11434
模型类型:对话
模型上下文长度:4096
模型的最大上下文长度,若不清楚可填写默认值 4096。
最大 token 上限:4096
模型返回内容的最大 token 数量,若模型无特别说明,则可与模型上下文长度保持一致。
是否支持 Vision:是
当模型支持图片理解(多模态)勾选此项,如 llava。
点击 “保存” 校验无误后即可在应用中使用该模型。
Embedding 模型接入方式与 LLM 类似,只需将模型类型改为 Text Embedding 即可。
2.2 使用 Ollama 模型
进入需要配置的 App 提示词编排页面,选择 Ollama 供应商下的 llava 模型,配置模型参数后即可使用:
3 报错
如用 Docker 部署 Dify 和 Ollama,可能遇到报错:
httpconnectionpool (host=127.0.0.1, port=11434): max retries exceeded with url:/api/chat (Caused by NewConnectionError (‘<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused’))
3.1 原因
Docker 容器无法访问 Ollama 服务。localhost 通常指的是容器本身,而不是主机或其他容器。要解决此问题,你要将 Ollama 服务暴露给网络。
3.2 解决方案
3.2.1 在 Mac 上设置环境变量
如果 Ollama 作为 macOS 应用程序运行,调用 launchctl setenv 设置环境变量:
$ launchctl setenv OLLAMA_HOST “0.0.0.0”
重启 Ollama 应用程序。
若以上步骤无效,毕竟问题在 docker 内部,你应该连接到 host.docker.internal,才能访问 docker 的主机,所以将 localhost 替换为 host.docker.internal ,服务就可以生效了:
http://host.docker.internal:11434
在 Linux 上设置环境变量
如果 Ollama 作为 systemd 服务运行,应该使用 systemctl 设置环境变量:
通过调用 systemctl edit ollama.service 编辑 systemd 服务。这将打开一个编辑器。
对于每个环境变量,在 [Service] 部分下添加一行 Environment:
[Service]
Environment=“OLLAMA_HOST=0.0.0.0”
保存并退出。
重载 systemd 并重启 Ollama:
systemctl daemon-reload
systemctl restart ollama
在 Windows 上设置环境变量
在 Windows 上,Ollama 继承了你的用户和系统环境变量。
首先通过任务栏点击 Ollama 退出程序
从控制面板编辑系统环境变量
为你的用户账户编辑或新建变量,比如 OLLAMA_HOST、OLLAMA_MODELS 等。
点击 OK / 应用保存
在一个新的终端窗口运行 ollama
如何在我的网络上暴露 Ollama?
Ollama 默认绑定 127.0.0.1 端口 11434。通过 OLLAMA_HOST 环境变量更改绑定地址。
更多推荐

所有评论(0)