概要

本文主要记录如何在本地搭建开源大模型deepseek，并在此基础上开放api给外部使用(类似于在deepseek官网申请key使用api)。可应用于智能助手、agent开发等场景。

整体架构流程

部署方式有很多，如deepseek -r1推荐的vLLM、SGLang，deepseek-v3推荐的vLLM、SGLang、LMDeploy、TRT-LLM、MindIE。除此之外还有ollama、LM Studio、Docker、各种服务器部署方式。

本案例中使用：
系统：windows（32G内存、 i5-14400 16核、集成显卡Intel Graphics 730）
大模型：deepseek-r1:8b（蒸馏模型）
大模型部署框架：ollama
web部署框架：FastAPI

技术细节

1. 去ollama官网下载桌面应用并安装 下载链接
2. 在ollma官网选择模型 r1模型链接
   
3. 选择r1:8b参数的模型（模型分1.5b、7b、8b、14b、32b、70b、671b。参数越大越智能、但需要的配置越大）
4. 复制命令粘贴到cmd下载运行（第一次执行命令会有下载进度条，后面就可以直接对话了）
5. 构建api供外部使用
6. 运行api服务
   1. 安装 FastAPI 和 Uvicorn。命令：pip install fastapi uvicorn
   2. 进入指定文件夹运行FastAPI服务。命令python3 -m uvicorn deepseek:app --reload（我的deepseek.py放在桌面deepseek文件夹下面，因此先进入deepseek文件夹目录再执行命令，命令中的deepseek代表deepseek.py文件，app代表代码块app=FastAPI()中的FastAPI服务，看到running on…就说明服务启动成功了）
7. cmd中post请求测试（提问：what is the latest trend in AI? 回答：{“response”:"Thinking…}）

后续

利用api调用大模型能力，实现教育agent应用程序