下载ollama liux版本

curl -fsSL https://ollama.com/install.sh | sh

 启动ollama

# 启动 Ollama 服务
sudo systemctl enable ollama
sudo systemctl start ollama

#停止ollama服务
sudo systemctl stop ollama

#查看ollama监听端口
sudo netstat -tulpn | grep ollama

# 检查服务状态
sudo systemctl status ollama


#修改ollama监听端口 
#临时
export OLLAMA_HOST=0.0.0.0
ollama serve

#长久
echo 'export OLLAMA_HOST=0.0.0.0' >> ~/.bashrc
source ~/.bashrc  # 立即生效

#重启
sudo systemctl daemon-reload
sudo systemctl restart ollama

#验证是否生效
sudo netstat -tulpn | grep ollama
# 应输出类似：tcp6 0 0 :::11434 :::* LISTEN <PID>/ollama


#使用外网测试
curl.exe http://115.230.124.120:11434/api/tags

 设置环境变量指定---模型目录

# 创建新的模型存储目录（例如 /data/ollama_models）
sudo mkdir -p /data/ollama_models
sudo chown -R $USER:$USER /data/ollama_models
 
# 设置环境变量（临时生效）
export OLLAMA_MODELS=/data/ollama_models
 
# 使环境变量永久生效
echo "export OLLAMA_MODELS=/data/ollama_models" >> ~/.bashrc
source ~/.bashrc

重启ollama服务使其生效
sudo systemctl restart ollama

在另外一个终端验证 

ollama -v

 拉取模型

#启动
ollama serve

#拉取模型
ollama  pull llama3


ollama list       #查看模型

ollama  rm  模型名称  #删除模型

ollama run llama3

ctrl+d 退出模型
 
pkill -f "ollama run"  #强制关闭模型


pkill  ollama  #关闭ollama

 使用docker部署open-webui前端

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

https://zhuanlan.zhihu.com/p/1893708991193925308