Hermes 使用本地Ollama模型教程
·
一、下载模型
1、下载Ollama
2、下载本地模型
ollama launch hermes --model pdurugyan/qwen3.5-9b-deepseek-v4-flash-Q4_K_M
二、配置model
hermes model
1、选择Custom endpoint
2、配置window和wsl的网络通道
设置环境变量OLLAMA_HOST=0.0.0.0:11434
-
打开高级防火墙
按Win + R键,输入wf.msc,然后回车。 -
新建入站规则
-
在左侧菜单中,选中“入站规则”。
-
在右侧的操作栏中,点击“新建规则…”。
-
-
按向导配置(一共 5 步,跟着点就行了)
-
规则类型:选择“端口”,点击“下一步”。
-
协议和端口:选择 TCP,然后选择“特定本地端口”,输入
11434,点击“下一步”。 -
操作:选择“允许连接”,点击“下一步”。
-
配置文件:全选(域、专用、公用都勾上),点击“下一步”。
-
名称:随便写一个名字方便识别,比如
Allow Ollama Port,点击“完成”。
-
hermes config set model.provider "custom"
3、获取Base Url
关闭Ollama重启
# 在 WSL 中获取 Windows 主机的 IP ip route show | grep -oP 'default via \K\S+' # 假设输出是 172.xx.xx.1,然后测试 curl http://172.xx.xx.1:11434/api/tags 输入http://172.xx.xx.1:11434/v1
4、API Key 选择空,回车
5、选择你想要的模型,可以通过指令查找模型name
Ollama list

三、完成

更多推荐



所有评论(0)