基于Ollama在win环境本地部署大模型
·
下载 ollama
本地部署大模型的话,可以使用 ollama 快速安装大模型
https://ollama.com/download/windows,在这可以直接根据你的 OS 进行下载
补充:下载完安装包先别着急安装,他默认是安装在C盘的,最好安装时安装在其他盘!

这里注意!!!
ollama默认是只能安装在C盘的,最好修改一下安装目录和大模型下载的目录
修改安装ollama与大模型下载目录
这里我把相关的文件全部放在F盘,首先在F盘创建一个ollama的文件夹,我这里就叫做ollama

然后进入这个文件夹内部创建一个叫做models的文件夹,用于存放你下载的大模型
然后打开开始菜单,输入环境变量,我们需要配置一下环境变量


然后添加你的ollama目录

执行安装ollama
这里可以把你下载到的ollama移动到F盘中的ollama文件夹内

然后在上面文件 目录的地方输入cmd,意思就是在当前位置打开cmd命令行

然后输入下面命令执行安装ollama
OllamaSetup.exe /DIR=F:\ollama
至此你的ollama就安装完也配置完成了
验证安装
安装好这里可以在cmd中通过 ollama --help 查看相关的命令

输入 ollama --version 可以看到你的版本号,输入 ollama ls 可以看到你已经安装过的模型

下载模型
安装完ollama之后,可以在 模型广场 里面查看你可以安装的大模型
这里可以选择deepseek-r1的模型,安装模型可以根据你的本地算力选择合适的模型安装

点击deepseek-r1之后往下看,可以看到你要安装的版本对应的命令
其实就是: ollama run 模型名字

输入下面命令可以进行安装
ollama run deepseek-r1:1.5b
然后就可以直接在命令行与大模型进行对话了
输入下面命令可以停止这个模型
ollama stop deepseek-r1:1.5b
至此ollama就全部安装完成了
更多推荐

所有评论(0)