最近因为DeepSeek总是繁忙,就自己在本地部署了一下DeepSeek,发现简单的同时也学到了很多,于是打算写篇blog记录下来

环境准备

一文读懂DeepSeek-R1本地部署配置要求(建议收藏)_deepseekr1各版本硬件需求-CSDN博客

参照这篇博文选择自己的目标版本

作者是12700+3070TI(8GB),选择的是8b

打开Ollama官网,选择下载Windows版本安装包

安装Ollama有两种方式:通过cmd命令行安装和直接安装

cmd命令行安装(推荐)

使用命令行安装的好处是可以修改安装的目录位置,而双击安装包直接安装则不能选择安装目录,默认安装在C盘中

打开安装包地址所在的终端(通过对安装包进行属性查看,可以看到我的安装包在D盘的浏览器下载任务这个文件夹里)

回退到安装目录中,选择在终端打开

输入命令:

OllamaSetup.exe /DIR="E:\Ollama"

其中DIR=就是目标安装路径

如果出现这种报错类型,请大家仔细阅读报错内容,将命令改为下面内容即可

./OllamaSetup.exe /DIR="E:\Ollama"

 

这样发现就可以正常安装了,并且安装在E盘的Ollama文件夹中

双击安装

没有任何难度,双击下载的安装包就可以了,默认安装在C盘中

检查Ollama是否成功安装

(1)直接在系统中搜索看是否有Ollama

(2)打开cmd,输入:

ollama -v

检查是否正确输出ollama版本号 

到这里Ollama就安装完成了

修改Ollama的大模型安装位置

打开高级系统设置的环境变量

在用户变量中新建变量,变量名未OLLAMA_MODELS,变量值为刚刚Ollama的安装路径+\Models

重启电脑后可以发现,Ollama文件夹中多了Models文件夹,这个文件夹就是存放你安装的大模型

Ps:如果不修改用户环境变量的话,未来安装的大模型将默认存储在C盘的C:\Users\.ollama\models目录下

如果已经不小心安装了可以通过以下代码删除模型

ollama list #查看模型名称
ollama rm 模型名称

然后回到C盘将.ollama文件夹删除,重新添加用户环境变量并重启电脑

安装大模型

再次进入Ollama官网,进入Models

找到将要安装的deepseek-r1,点击进入

复制命令在cmd中运行(我这里安装的是8b)

然后开始漫长的等待,直到出现success

输入问题开始测试

WEB UI对话(可选)

我们虽然可以通过CMD来进行对话,但是这个界面不够直观,我们不太喜欢,那么我们可以借助插件来搭建一个简易的第三方UI来实现对话效果

Chrome插件PageAssist

我们通过Chrome的官方插件商店(安装过程需要挂vpn,使用不需要)

https://chromewebstore.google.com/search/Page%20Assist?hl=zh-CN&utm_source=ext_sidebar搜索PageAssist,点击添加扩展程序即可

安装完成后,点击扩展打开即可

点击右上角的setting

就可以切换为简中,点击左上角返回,在红色框中选择一个模型,就可以开始对话了

PS:

如果显示其他非Ollama is running的提示,如:Unable to connect to Ollama ;Searching for your Ollama 等。重新打开Ollama并进行刷新即可

chatboxai

chatboxai可以选择在线或下载客户端到本地,这里两者都进行介绍

在线使用chatboxai

Chatbox网页版https://web.chatboxai.app/点击进入后出现一个对话框,点击阴影处关闭提示,左下角点击settings,选择DISPLAY将语言切换为简中并save

接下来配置环境变量

新建两个用户变量,具体内容如下,完成后确定

配置好环境变量后,我们重启Ollama,目的是让Chatbox网页版能自动识别连接到Ollama服务,然后刷新下Chatbox网页版

接下来再次点击设置,进入模型设置页面,选择模型提供方为Ollama API

选择模型就可以看到deepseek-r1就被自动识别上了,返回对话页面即可开始交流

(但是我感觉这个UI没有chrome的好看)

下载chatbox客户端

Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载https://chatboxai.app/zh点击进入chabox官网

直接下载安装即可

选择安装目录

点击软件,运行后操作与上一小节相同

配置到此完成,教程结束。在个人记录操作的过程中写下的blog希望也能够帮助到大家

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐