【AI】Linux部署Ollama及运行DeepSeek大模型
·
Linux部署Ollama及运行DeepSeek大模型
Window安装Ollama:https://blog.csdn.net/qq_45797138/article/details/145690599
随着大语言模型(LLM)的兴起,本地部署这些模型的需求也日益增加,Ollama作为一个开源的LLM平台,为本地部署和管理大型语言模型提供了极大的便利。本文将详细介绍如何在Linux系统上使用Docker部署Ollama,并运行DeepSeek等大模型
一、安装Docker
在开始之前,确保你的Linux系统已经安装了Docker。如果尚未安装,可以通过以下命令安装Docker
sudo apt-get update
sudo apt-get install -y docker.io
验证Docker是否安装成功
docker --version
二、拉取并运行Ollama镜像
Ollama提供了不同的Docker镜像,根据你的硬件配置,选择合适的镜像版本
# CPU 或 Nvidia GPU
docker pull ollama/ollama
# AMD GPU
docker pull ollama/ollama:rocm
拉取镜像后,启动Ollama容器,为了方便访问,可以将容器的11434端口映射到宿主机的11434端口
# 创建映射目录
mkdir -p /home/ollama
# 启动容器
docker run -d -v /home/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# 如果需要使用 GPU 加速,可以添加--gpus=all参数
docker run -d --gpus=all -v /home/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
运行成功后,可以通过以下命令查看容器的运行状态
docker ps
三、拉取并运行DeepSeek模型
进入Ollama容器
docker exec -it ollama /bin/bash
在容器内部,使用ollama pull命令拉取DeepSeek模型
ollama pull deepseek-r1:1.5b
拉取完成后,可以通过以下命令运行DeepSeek模型
ollama run deepseek-r1:1.5b
四、可视化工具
Page Assist是一款浏览器插件,通过该插件可以在浏览器上和AI大模型完成交互
以edge浏览器为例,访问edge插件扩展官网,搜索Page Assist,点击获取即可安装。安装好后点击右上角的扩展图标-Page Assist插件打开交互页面
链接: edge插件

配置Ollama访问地址:服务器IP + 端口号
配置好后在右上角选择大模型就可以开始问答交互了
更多推荐



所有评论(0)