这里写目录标题

ollama 安装

1、下载压缩包
ollama 发布页

2、解压下载的文件

# 在压缩文件所在的文件夹下执行
tar -xzvf ollama-linux-amd64.tgz

3、将 Ollama 移动到系统目录
解压后你会得到 bin/ 和 lib/ 文件夹,你需要将它们移动到适当的位置:

# 在压缩文件所在的文件夹下执行
sudo mv bin/ollama /usr/local/bin/
sudo mkdir -p /usr/local/lib/ollama
sudo mv lib/* /usr/local/lib/ollama/

4、 设置权限

sudo chmod +x /usr/local/bin/ollama

5、手动运行 Ollama 服务(临时方案)

# 在任何目录下都可执行
ollama serve

这会启动 Ollama 服务,并保持在前台运行(关闭终端后服务会停止)。
效果图
在这里插入图片描述

  • 方案二:后台运行 Ollama 服务(推荐)
    如果你不想用 systemd,但仍然希望 Ollama 在后台运行,可以使用 nohup 或 screen:

    nohup ollama serve > /tmp/ollama.log 2>&1 &
    
  • 方案三:创建 systemd 服务(让它作为服务运行)
    1)创建服务文件:

    sudo nano /etc/systemd/system/ollama.service
    

    2)添加以下内容:

    [Unit]
    Description=Ollama Service
    After=network-online.target
    
    [Service]
    ExecStart=/usr/local/bin/ollama serve
    User=ollama
    Group=ollama
    Restart=always
    RestartSec=3
    Environment="PATH=/usr/local/bin:/usr/bin:/bin"
    
    [Install]
    WantedBy=default.target
    

    3)然后创建用户并启用服务

    sudo useradd -r -s /bin/false ollama
    sudo systemctl daemon-reload
    sudo systemctl enable ollama
    sudo systemctl start ollama
    

6、验证安装

ollama --version

7、测试 Ollama
现在可以尝试拉取并运行模型:

ollama pull llama2
ollama run llama2

ollama pull qwen:1.8b
ollama run qwen:1.8b

效果图
在这里插入图片描述

  • 模型默认会下载在 /root/.ollama 下, 如果想把模型迁移到指定目录下,可使用 软链。操作如下:

    step1:迁移模型数据到 xxx/model 目录下
    sudo mv /root/.ollama xxx/model
    
    step2:创建软链
    sudo ln -s xxx/model/.ollama /root/.ollama
    -- 其他命令:
    	# 查看软链 
        `ls -l /root/.ollama`
        # 删除软链
        `sudo rm /root/.ollama`
    
    step3:重置目录权限
    # 因为文件夹下的 .ollama 是需要 ollama 用户可访问的,这里权限放大为所有用户都可读写执行。
    chmod -R 777 xxx/model/
    
    step4:重启ollama
    # 方案一和二:【临时】先关闭 ollama 后,再次启动
    ollama serve
    # 方案三:
    sudo systemctl restart ollama
    
    step5:验证
    ollama list
    ollama run qwen:1.8b
    
Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐