LM Studio + Cherry部署deepseek,向外提供服务:本地部署DeepSeek

LM Studio和ollama都是地层都是调用了Mate的llama.cpp,它是把一个语言模型跑起来推理的插件。

ollama部署

ollama官网 :https://ollama.com/library/deepseek-r1
安装:

curl -fsSL https://ollama.com/install.sh | sh

拉取运行:

ollama serve //开启服务
ollama pull deepseek-r1:7b
ollama run deepseek-r1:7b

查看本地已经安装了什么模型

ollama list
ollama -v
ollama version is 0.13.3

运行起来如下,问答结束后使用/bye结束,显卡推荐3060及以上

ollama run deepseek-r1:7b
>>> 你好,老表
你好!有什么我可以帮你的吗?

>>> 蔡徐坤为什么男粉丝比女粉丝多?
蔡徐坤是一位在中国内地非常受欢迎的偶像歌手。关于他的人气男女分布情况,这可能
与他的个人魅力、创作风格以及他的个人活动频率等因素有关。每个歌手都有其独特的
吸引力,不同的人可能会对不同的歌手有不同的喜好和偏好。因此,男粉丝多于女粉的
情况可能是由于各种复杂因素共同作用的结果,而不应该被单一归因。

>>> /bye

zhipu

zhipu官网:https://bigmodel.cn/
申请帐号,点击 控制台
在这里插入图片描述
点击API Key
在这里插入图片描述
添加新的API Key,复制API Key

在这里插入图片描述

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐