准备物料

Dify 本地部署

Ollama 下载

Open WebUI

好了现在,假设访问 http://localhost/apps 应该可以打开 Dify,设置用户登录后应该可以看到以下界面
在这里插入图片描述
打开 http://localhost:3000/, 你应该可以看到部署好的Open WebUI,并假设有下载好你感兴趣的模型
在这里插入图片描述

Dify中配置模型

打开Dify设置页面

可以参考 官方文档,里面有介绍接入各种模型供应商的方法
在这里插入图片描述
找到Ollama,点击设置
在这里插入图片描述
其他的字段都按照官方文档指引先填写了,这里遇到了两个问题

  • 模型名称
    原本我是想起个友好的名字,因为他官网说本地ollama run xxxx,我以为就会默认访问run的命令,但结果并不是这样,如果配置了Open WebUI,可以跳过教程中的run阶段,模型名称 是在调用ollama api的时候必须传入的,需要与通过ollama list命令列出来的完全一致,否则会报模型找不到的错误
    在这里插入图片描述
  • 基础URL地址
    他官方这段话讲道理是真的有点云里雾里,可能对这块儿不熟悉吧,用了localhost以及局域网ip都不行,我又想我也没用docker部署ollama就没尝试 host.docker.internal,结果始终是报错

    就类似这样的错误
    在这里插入图片描述
    最后各种Google啊,百撕不得其姐,然后偶然翻开 Open WebUI 的设置->外部链接,发现了如下
    在这里插入图片描述
    然后点击刷新小按钮,还真的可以,于是粘贴到Dify里面,果然可以了~
    在这里插入图片描述

有用的资料

Ollama FAQ

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐