---

RK3588 板端离线部署 Ollama + Qwen3:0.6B

（Ubuntu 24.04 / aarch64 / systemd）

适用于 RK3588 / RK3568 等 64 位 ARM（aarch64） 板卡
适合离线 / 内网环境

---

1️ 确认系统架构与系统版本

1.1 确认 CPU 架构

uname -m

期望输出：

aarch64

若不是 aarch64，请 不要继续，Ollama 二进制将无法运行，请选择对应的版本。

---

1.2 确认系统版本

cat /etc/os-release | head

示例输出：

PRETTY_NAME="Ubuntu 24.04.3 LTS"
VERSION="24.04.3 LTS (Noble Numbat)"
VERSION_CODENAME=noble

结论：

• 架构：aarch64（64 位 ARM）
• 系统：Ubuntu 24.04 LTS
• 需要使用 ollama-linux-arm64.tgz

---

2️ 准备：下载并放置 Ollama 安装包

2.1 下载 Ollama（ARM64 版本）

注意：不要下载 amd64 版本

curl -fL -o ollama-linux-arm64.tgz \
https://ollama.com/download/ollama-linux-arm64.tgz

• 文件大小约 2 GB
• 离线环境可在其他机器下载后拷贝到板子
• 在浏览器可以点击https://ollama.com/download/ollama-linux-arm64.tgz
  下载,再移动到板端对应目录。

---

2.2 创建目录并放置安装包

mkdir -p ~/llm
cd ~/llm
ls -lh

确认能看到：

ollama-linux-arm64.tgz

---

3️ 安装 Ollama（二进制方式）

3.1 解压到系统目录 /usr

cd ~/llm
sudo tar -zxvf ollama-linux-arm64.tgz -C /usr

---

3.2 校验 Ollama 是否可执行

ls -l /usr/bin/ollama
/usr/bin/ollama --version

若看到版本号输出，说明 二进制正常。

---

4️ 配置 systemd 服务（开机自启）

4.1 创建服务文件

sudo vim /etc/systemd/system/ollama.service

填入以下内容：

[Unit]
Description=Ollama Service
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
ExecStart=/usr/bin/ollama serve
User=pi #替换为你的用户名
Group=adm #替换为你的用户组
Restart=always
RestartSec=3
Environment=PATH=/usr/bin:/usr/local/bin

[Install]
WantedBy=multi-user.target

说明：

• User=pi：请确认该用户存在（RK 官方镜像通常为 pi）
• 若使用 root，可改为 User=root

---

4.2 启动并设置开机自启

sudo systemctl daemon-reload
sudo systemctl enable --now ollama

---

4.3 确认服务状态

systemctl status ollama

看到 Active: active (running) 即成功。

---

5️ 拉取并运行 Qwen3:0.6B（CPU 可跑）

5.1 拉模型

ollama pull qwen3:0.6b

首次拉取需联网
离线环境可提前在其他机器下载模型目录再拷贝

---

5.2 运行模型（交互模式）

ollama run qwen3:0.6b

进入交互后可直接对话，退出方式：

Ctrl + D

---

6 参考文献

• https://docs.ollama.com/linux#manual-install
• http://githubgithub.com/ollama/ollama