centos7.9系统下部署deepseek-r1
·
1.下载安装ollama
1.官网直接下载安装
链接: https://ollama.com/download/linux

打开centos
执行 curl -fsSL https://ollama.com/install.sh | sh

2 .离线安装
由于上一种方法大多数时候执行都会出错,所以推荐使用第二种离线安装。
链接: https://ollama.com/download/ollama-linux-amd64.tgz
使用上述链接,用浏览器下载离线包

下载完成后上传到centos服务器上并解压到/usr目录下

2.ollama后台服务创建
给ollama新增用户和组
useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
usermod -a -G ollama $(whoami)
新增ollama.service文件
vim /etc/systemd/system/ollama.service
ollama.service文件内容
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST=0.0.0.0"
[Install]
WantedBy=default.target
重新加载配置文件并设置状态为自启
systemctl daemon-reload
systemctl enable ollama
启动ollama服务
systemctl start ollama
查看ollama服务状态
systemctl status ollama

3.启动ollama并下载deepseek模型运行
启动ollama
ollama serve

查看版本
ollama -v

运行下载deepseek-r1:1.5b
ollama run deepseek-r1:1.5b
进度条下载完成后可直接问问题

4.ollama模型管理
查看模型列表
ollama list

删除模型
ollama rm -f deepseek-r1:1.5b
其他相关命令
ollama pull deepseek-r1:14b #拉取模型
ollama rm deepseek-r1:14b #删除模型
ollama cp deepseek-r1:14b #复制模型
ollama show deepseek-r1:14b #显示模型信息
ollama list #查看已有模型列表
ollama ps #查看目前在运行的模型及其在显存和内存的占比
ollama serve #启动ollama的api服务
ollama run {model} #在命令行模式下运行模型,可以直接进行对话
5.卸载ollama
卸载服务
systemctl stop ollama
systemctl disable ollama
rm /etc/systemd/system/ollama.service
卸载ollama相关内容
rm $(which ollama)
rm -r /usr/share/ollama
userdel ollama
groupdel ollama
rm -rf /usr/local/lib/ollama
更多推荐



所有评论(0)