Ollama本地私有化部署模型
·
本地部署模型最简单的方案就是使用Ollama，官网地址https://ollama.com/，logo是一个可爱的羊驼,Ollama只是管理模型的一个工具
安装Ollama
下载地址：https://ollama.com/download，支持MacOS、Linux、和Wino
安装默认是C盘，所以采用命令行安装方式 OllamaSetup.exe /DIR=D:\Your\Custom\Path
设置Ollama
打开Settings，设置本地模型的路径，否则默认C盘，会占满C盘空间
部署模型
部署模型需要看电脑的GPU配置，我这里GPU共享的内存是16G，部署模型有两种形式
- 第一种，打卡官网的Models，复制ollama run qwen3.5
- 第二种在Ollama页面 New Chat 选一个模型，发送一句话即可，系统发现没有，会自己去下载
我这里加了一个qwen3.5:2b的模型，2b代表训练参数是20亿的参数量 b代表Billion，在英文中是十亿的意思
API访问
在官网中提供了本地部署的模型访问的API，https://docs.ollama.com/quickstart
使用工具调用一下
汇聚全球AI编程工具，助力开发者即刻编程。
更多推荐
1
0- 0
已为社区贡献6条内容
所有评论(0)