Ubuntu如何使用Ollama运行AI大模型

xinxin419

260人浏览 · 2026-01-08 09:06:02

xinxin419 · 2026-01-08 09:06:02 发布

Ollama（本地模型运行平台）

能运行：✅
能调优：❌（只能推理）
适用场景：开发、验证、快速体验
特点：一条命令跑模型，自带 API

“给本地开发者用的，一键跑大模型的运行平台”

它到底干了什么？

下载模型
自动量化
管 GPU / CPU
提供本地 API

用它不是在“跑模型”，而是在：用别人封装好的推理系统

工程定位

快速验证
模型对比
本地开发

如何使用Ollama

安装Ollama管理工具

curl -fsSL https://ollama.com/install.sh | sh

安装脚本检测到系统中安装了 NVIDIA GPU，意味着 ollama 可以利用 GPU 进行模型推理，提升性能

启动Ollama服务

ollama serve

运行qwen2.5:14b模型

ollama run qwen2.5:14b

提问AI时，观察显存占用率

watch -n 1 nvidia-smi

提问前

提问后

https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

码道 · 寻艺——从零构建“非遗交互式对话平台“的完整实践

AI编程社区

码道：从零构建学生信息管理系统 API：FastAPI 内存版 CRUD 项目全解析

FastAPI 的强大，很大程度上来自 Pydantic 的校验能力。我们写下类型声明，FastAPI 在运行时自动把它变成边界检查器。name：字符串，长度限制 1 到 50；age：整数，限制在 6 到 120 之间（ge大于等于、le小于等于）；gender：字符串，用正则限定只能是"男"“女”“其他”；email：邮箱格式字符串；grade与major：可选字段，代表班级和专业方向。

AI编程社区

码道：用 Python + FastAPI 快速构建一个学生信息管理接口：从零到 Swagger 在线文档

在日常开发和教学中，我们经常需要一套简单、可控、能快速上手的后端接口来演示"前后端分离"、练习 Restful API 设计，或者作为前端联调的 Mock 服务。传统做法往往是搭一套完整的 Web 工程：配置数据库、编写 DAO、引入 ORM、做请求分发……一套流程下来，光环境搭建就要花去不少时间，对于想快速验证想法、或者刚入门 API 开发的同学来说，显得过于沉重。