一、shell一键部署

注意:这一步比较链接github慢,比较推荐二进制文件部署方式。

  • 输入下面命令一键部署:
curl -fsSL https://ollama.com/install.sh | sh

二、下载部署 

1、直接下载安装

受限于libstdc++版本,因此下载新版本ollama可能会报错不被支持

  • 直接下载后将压缩包 传到服务器上的文件夹上,解压到usr目录,输入:
sudo tar -C /usr -xzvf 你的压缩包所在位置
  •  直接启动服务,输入:
ollama serve
  • 添加ollama自启动服务(推荐,也可以不添加):
  • 创建用户组:
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
  • 创建ollama服务配置文件/etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
 
[Install]
WantedBy=default.target
  •  启动服务
sudo systemctl daemon-reload
sudo systemctl enable ollama

2、通过docker部署ollama

该方式可能会出现启用比较麻烦或者dify加不上端口的情况

  • 拉取ollama镜像:
docker pull ollama/ollama:latest
  •  运行ollama镜像:
docker run -d -p 11434:11434 --name ollama ollama/ollama:latest
  • 运行指定大模型:
docker exec -it ollama ollama run 模型名称

3、通过脚本文件部署ollama 

受限于libstdc++版本,因此下载新版本ollama可能会报错不被支持

  • 下载脚本文件到本地:
curl -fsSL https://ollama.com/install.sh -o ollama_install.sh
  • 将脚本文件内的下载链接地址进行替换,(其中包含需要下载的版本v0.9.0,如果想要其他版本可以更改,也可以到ollama官网查找最新的版本,链接如下:ollama版本链接):
sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.9.0/ollama-linux|g' ollama_install.sh
  • 替换后增加可执行权限:
chmod +x ollama_install.sh
  • 执行sh下载安装:
sh ollama_install.sh

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐