1、深度学习的生态：

在开始之前要了解以下这两个概念以及他们的差别：

深度学习框架：指的是模型训练的框架

深度学习推理框架：指的是模型的推理（预测）加速，相比前者不太注重原理。

2、深度学习框架

2.1静态图和动态图

图：指的是神经网络的结构、模型的结构。

静态图：一次性将模型的结构全部加载到内存中，进行训练或推理。

动态图：一边加载模型，一边推理，可以随时改变模型的结构。

结论1：

• 所以说静态图推理速度快。动态图推理速度较慢，但是比较灵活。

• 训练时使用动态图，修改模型结构，提高训练效果。
• 推理时转成静态图，提高模型的性能。
   

2.2常见深度学习框架

TensorFlow

• TensorFlow 1.0：采用静态图机制。这意味着在执行计算前必须先定义好整个计算图，调试相对困难，但部署效率高。
• TensorFlow 2.0：转向了动态图机制（Eager Execution）。这使得代码编写更像 Python 原生代码，便于调试和即时执行，大大降低了上手门槛。

PyTorch

目前学术界和工业界最流行的框架之一，以动态图机制著称，灵活性极高，深受研究人员喜爱。

ONNX (Open Neural Network Exchange)

• 核心地位：ONNX 是深度学习领域的“通用语言”，非常重要。
• 转换枢纽：遵循“万物先转 ONNX，ONNX 再转万物”的原则。它是连接不同训练框架（如 PyTorch、TF）和不同推理后端（如 TensorRT、OpenVINO）的桥梁。
• 生态特点：拥有大量开源算子，但由于硬件适配问题，实际使用时的门槛并不算低，需要处理不少兼容性问题。

国内外学习推理框架对比

这一部分主要关注模型训练完成后的推理（Inference）阶段，即如何高效地运行模型。

国外好用的推理框架

• vLLM：被比喻为跨平台的“赛道跑车”。它是一个高吞吐量和低延迟的大语言模型（LLM）推理和服务库，适用于多种硬件平台，通用性强。
• SGLang：另一个新兴的推理加速工具，专注于优化结构化生成和大模型的交互效率。

国内常见的学习推理框架

• MindIE (华为昇腾)：
  • 定位：华为为自家昇腾 (Ascend) NPU 硬件量身打造的官方 AI 推理加速套件。
  • 比喻：如果把 vLLM 比作通用的“赛道跑车”，那么 MindIE 就是专门为异腾硬件深度定制的“原厂高性能超跑”。
  • 核心目标：在昇腾 NPU 上榨干每一分算力，提供极致的推理性能和稳定的企业级服务。它主要针对国产化硬件环境进行了深度优化。

3、选择合适的pytorch

3.1查看电脑上是否有GPU

按住win+x打开设备管理器，然后点击显示适配器，查看显卡状态如下图。

3.2创建虚拟环境

a.conda env list  

b.conda create -n 环境名 python=3.10

3.3安装pytorch

（1）.只有cpu

方式1：下载在线镜像源

pip install torchvision -i https://pypi.tunatsinghua.edu.cn/simple

方式2：安装下载好的离线安装包

先下载离线包，离线包的网址：download.pytorch.org/whl/torch_stable.html

接着进入离线包的文件位置，然后输入命令pip install pip instal torch-2.1.2+cpu-cp310-cp310-win_ amd64.whl

（2）有GPU

a.查看cuda版本

win+r+cmd 输入 nvidia-smi   此命令不可有任何空格

如果出现下面的问题（nvidia-smi不是内部命令）：

解决办法：1、先检查命令是否错误是否有空格。2、打开电脑的设备管理器，看是否有NVIDIA标志的独显。3、如果前两个都没问题，那么就可能是未配到系统path，导致命令不被控制台识别。

上图修改之后就可以正常使用命令：

3.4安装驱动或者更新cuda版本

4、如果自己的电脑没有驱动或者驱动版本是430以下需要更新驱动，或者cuda版本在11.8以下(不包括11.8更新cuda版本），自己到官网覆盖安装适合自己电脑的完整驱动。

如何更新驱动，详细可参考这个博主的文章：更新驱动版本

 

上图的操作是为了保证cuda版本和驱动版本的适配

3.5安装与自己电脑适配的pytorch

参照这个pytorch安装指导文件：在pytorch安装指导文件网站选择合适的安装版本

注意：你安装的cuda版本不得高于你自己电脑的cuda版本。

如果你自己电脑的cuda版本过低，为了保证pytorch要求的cuda版本不高于它。你可以点击下图里的install previous version安装以前的低版本pytorch.复制指导文件的命令到anaconda prompt里。

ps：查看cuda版本，如果驱动版本是430以下需要更新驱动如果cuda版本在11.8以下(不包括11.8)更新cuda版本。

（1）选择性安装CUDA toolkit和cudann（不安装也可以）
a.查看cuda tokit是否已经安装。

路径:C:\Program Files\NVIDIA GPU Computing Toolki路径存在，即已安装安装

cuda toolkit方法网站: https://developer.nvidia.comcuda-toolkit-archive下载对应的安装包点击安装即可
b.安装cudann。

1.下载cudann的压缩包地tt: https://developer.nvidia.com/rdp/cudnn-archive

2.解压文件

3.复制 bin include lib文件夹到C:\Program Files\NVIDIA GPUComputing Toolkit\CUDA\v12.8即可完成安装