​

目录

1.下载本地大语言模型运行框架ollama服务

2.下载deepseek模型

3.安装客户端

4.局域网共享

---

 

1.下载本地大语言模型运行框架ollama服务

访问Ollama Ollama.com

​下载之前，因国内无法访问github。这时候我们需要使用steam++免费工具做个代理(在22号发布的文章中有讲具体怎么操作）。代理好之后可以访问github了。择对应系统版本，会跳转到github的下载地址，

 

这样我们就可以获取下载任务。

创建下载任务后，网页下载较慢，建议复制下载链接，使用迅雷工具加速下载。

​编辑

下载完后，安装前确认电脑C盘有足够可用空间（可用空间大于100GB）。程序默认只能安装在C盘，按照默认方式直接安装即可。

安装完成后我们在cmd窗口执行对应命令查看程序状态

win+R 召唤运行cmd

​编辑

在命令行执行下面命令，得到程序版本信息

ollama -v

​编辑

到这里windows上的大模型的运行框架就安装好了

2.下载deepseek模型

我们需要返回ollama首页安装deepseek-R1模型。点击首页左上角 Models

​

找到deepseek-r1，并点击

​

这里电脑配置一般的建议大家选择1.5b的版本，（本人台式机RTX2060第一次很自信安装了7b的版本,运行一会电脑就自动黑屏关机~~~~）

​

选完之后右侧生成下载命令，下载1.5b版本的也可以直接直接复制下面内容下载

ollama run deepseek-r1:1.5b

复制命令到cmd窗口执行，因为我装过1.5b版本，所以截图安装的8b

​

这里下载速度没办法加快，只能在cmd窗口慢慢等，等待安装完成后deepseek模型会自动启动，会有提示对话框

​

这一段对话就是本地运行的大模型返回的，到这里大模型服务器端部署完成。（感觉1.5b版本的感觉不是很好用，和满血版差距不是一点半点~）

3.安装客户端

为方便使用我们还需安装客户端。客户端有很多也可以使用自己的。

这里我们下载chatbox，地址  https://chatboxai.com/

​

下载完成后按照默认安装打开应用界面，点击设置

​

模型提供方选择 OLLAMA API

地址和模型选择默认的即可，默认即本地运行的大模型。点击保存。

​

​此时就完成了本地部署的整个安装流程，可以在客户端与大模型对话。

 

4.局域网共享

在单位或学校局域网内共享

ollama服务地址和端口默认是127.0.0.1:11434,该地址为本地地址，只允许本地访问

（一般使用telnet来测试端口是否开放）

使用本地测试端口是否开放，可以看到能够正常访问

我们使用虚拟机做测试看端口是否开放，因127.0.0.1代表本机地址的意思，所以我们需要使用windows和虚拟机做NAT映射的网卡地址192.168.138.1做测试

可以看到端口连接被拒绝

现在我们修改ollama的配置，将服务地址改为0.0.0.0允许任意地址访问。

windows下右击我的电脑选择 属性

点击高级系统设置

点击环境变量

在下侧系统环境变量出点击新建

新建变量名   OLLAMA_HOST     变量值   0.0.0.0:11434

重要！！重要！！重要！！ 一次点击各个窗口的确认，千万不要直接点 ×，三轮确定点完后重启ollama。

在系统右下角右击小羊驼图标选择 Quit Ollama

启动在开始菜单搜索ollama点击羊驼图标即可启动

等待几秒，此时我们在虚拟机中测试是否可以访问，可以看到此时已正常访问。局域网内的windows系统使用chatbox配置AI域名时将127.0.0.1 改为192.168.138.1后，都可访问该本地模型。

到此，你就可以将这个本地大模型分享给你局域网的小伙伴啦！

 

 

后续会继续和大家一起学习RAG（本地知识库）的搭建（即可以将平时经常用到的专业知识、小众的知识或者互联网搜不到的知识加入大模型知识库，作为我们学习和工作的AI伙伴）

欢迎大家一起学习 

 

 

 

 

 

 

小部件