1.下载安装ollama

1.官网直接下载安装

链接: https://ollama.com/download/linux
ollama下载地址
打开centos
执行 curl -fsSL https://ollama.com/install.sh | sh
执行安装ollama命令

2 .离线安装

由于上一种方法大多数时候执行都会出错,所以推荐使用第二种离线安装。
链接: https://ollama.com/download/ollama-linux-amd64.tgz
使用上述链接,用浏览器下载离线包
ollama离线包
下载完成后上传到centos服务器上并解压到/usr目录下
解压到/usr

2.ollama后台服务创建

给ollama新增用户和组

 useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
 usermod -a -G ollama $(whoami)

新增ollama.service文件

vim /etc/systemd/system/ollama.service

ollama.service文件内容

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST=0.0.0.0"

[Install]
WantedBy=default.target

重新加载配置文件并设置状态为自启

systemctl daemon-reload
systemctl enable ollama

启动ollama服务

systemctl start ollama

查看ollama服务状态

systemctl status ollama

ollama状态

3.启动ollama并下载deepseek模型运行

启动ollama

ollama serve

启动成功
查看版本

ollama  -v

查看版本
运行下载deepseek-r1:1.5b

ollama run deepseek-r1:1.5b

进度条下载完成后可直接问问题
在这里插入图片描述

4.ollama模型管理

查看模型列表

ollama list

ollama模型
删除模型

ollama rm -f deepseek-r1:1.5b

其他相关命令

ollama pull deepseek-r1:14b 		#拉取模型
ollama rm deepseek-r1:14b 		#删除模型
ollama cp deepseek-r1:14b 		#复制模型
ollama show deepseek-r1:14b 		#显示模型信息
ollama list 				#查看已有模型列表
ollama ps 					#查看目前在运行的模型及其在显存和内存的占比
ollama serve 				#启动ollama的api服务
ollama run {model} 			#在命令行模式下运行模型,可以直接进行对话

5.卸载ollama

卸载服务

systemctl stop ollama
systemctl disable ollama
rm /etc/systemd/system/ollama.service

卸载ollama相关内容

rm $(which ollama)
rm -r /usr/share/ollama
userdel ollama
groupdel ollama
rm -rf /usr/local/lib/ollama
Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐