前言

之前部署过一次,但是时间太长就会有点忘记了;于是本次打算记录一下如何使用Ollama部署本地大模型,并实现局域网内远程调用。

正文

下载Ollama

  • 这是其官网地址:https://ollama.com/
  • 页面比较简洁。进去就有下载,按钮,可以按需下载
  • 这里我也提供了其他下载方式(如果官网下载速度慢):我用夸克网盘分享了「ollama」,点击链接。打开「夸克APP」即可保存。链接:https://pan.quark.cn/s/90a1fcaa08fe

下载后直接双击安装即可:
在这里插入图片描述

查看Ollama

目前版本的Ollama自带一个聊天窗口:
在这里插入图片描述

查看可用模型

这里直接搜索即可,可以查看都有哪些大模型,具体可以使用哪些参数的
在这里插入图片描述

更改模型下载位置

在这里插入图片描述

下载模型

ollama run qwen2.5:1.5b
  • 等价逻辑:本地没有就自动下载,下载完直接进入聊天窗口
  • 如果只想预先下载、不启动对话:
ollama pull qwen2.5:1.5b

在这里插入图片描述

开放局域网内远程调用

在这里插入图片描述
如果开启也不可以的话,可能需要 Windows防火墙开放11434入站端口:

  1. 按下 Win+R,输入 wf.msc 回车,直接打开 Windows Defender 防火墙高级设置
  2. 左侧选择 入站规则 → 右侧点击 新建规则
  3. 规则类型选择 端口 → 下一步
  4. 选择 TCP,勾选 特定本地端口,填入:11434 → 下一步
  5. 操作:允许连接 → 下一步
  6. 配置文件:域、专用、公用全部勾选(局域网至少保证【专用】勾选)→ 下一步
  7. 名称填写:Ollama 11434,描述可写:局域网访问Ollama模型端口 → 完成

⚠️ 安全提醒:
公用网络环境尽量不要开放,仅内网局域网使用;不要把本机直接暴露公网,Ollama原生没有密码认证。

另一台同局域网浏览器访问:http://你的IP:11434页面显示 Ollama is running = 连通成功

小结

整体操作还是比较简单的,希望本篇文章能对您有所帮助,如有错误之处还望指正。

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐