Window安装Ollama:https://blog.csdn.net/qq_45797138/article/details/145690599

随着大语言模型(LLM)的兴起,本地部署这些模型的需求也日益增加,Ollama作为一个开源的LLM平台,为本地部署和管理大型语言模型提供了极大的便利。本文将详细介绍如何在Linux系统上使用Docker部署Ollama,并运行DeepSeek等大模型

一、安装Docker

在开始之前,确保你的Linux系统已经安装了Docker。如果尚未安装,可以通过以下命令安装Docker

sudo apt-get update
sudo apt-get install -y docker.io

验证Docker是否安装成功

docker --version

二、拉取并运行Ollama镜像

Ollama提供了不同的Docker镜像,根据你的硬件配置,选择合适的镜像版本

# CPU 或 Nvidia GPU
docker pull ollama/ollama

# AMD GPU
docker pull ollama/ollama:rocm

拉取镜像后,启动Ollama容器,为了方便访问,可以将容器的11434端口映射到宿主机的11434端口

# 创建映射目录
mkdir -p /home/ollama

# 启动容器
docker run -d -v /home/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# 如果需要使用 GPU 加速,可以添加--gpus=all参数
docker run -d --gpus=all -v /home/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

运行成功后,可以通过以下命令查看容器的运行状态

docker ps

三、拉取并运行DeepSeek模型

进入Ollama容器

docker exec -it ollama /bin/bash

在容器内部,使用ollama pull命令拉取DeepSeek模型

ollama pull deepseek-r1:1.5b

拉取完成后,可以通过以下命令运行DeepSeek模型

ollama run deepseek-r1:1.5b

四、可视化工具

Page Assist是一款浏览器插件,通过该插件可以在浏览器上和AI大模型完成交互
以edge浏览器为例,访问edge插件扩展官网,搜索Page Assist,点击获取即可安装。安装好后点击右上角的扩展图标-Page Assist插件打开交互页面
链接: edge插件
在这里插入图片描述
在这里插入图片描述
配置Ollama访问地址:服务器IP + 端口号
在这里插入图片描述
配置好后在右上角选择大模型就可以开始问答交互了

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐