一文看全 AI 开发全链路技术梳理（从底层硬件到上层应用，完整分层）
·
目录
一、底层基础设施层（算力 / 硬件 / 存储 / 网络）
1. AI 算力硬件
- GPU：主流训练 / 推理芯片
- NVIDIA：A10、A100、H100、H200（大模型训练主力）；RTX 4090/5090（本地微调、推理）
- AMD：MI250、MI300X（国产云、开源训练）
- ASIC 专用 AI 芯片
- 云端：华为昇腾 910B/310B、寒武纪思元 370/590、壁仞 BR100
- 端侧：地平线征程系列、黑芝麻智能
- TPU：谷歌 TPU v4/v5，多用于谷歌云、JAX 训练
- CPU：通用调度、数据预处理、轻量推理（Intel Xeon、AMD EPYC）
- 存算一体芯片：新型低功耗端侧方案，降低大模型推理功耗
2. 算力调度与集群
- 分布式框架：Slurm、Kubernetes+Device Plugin、Volcano
- 云厂商算力：阿里云 PAI、腾讯云 TI、华为 ModelArts、AWS SageMaker、GCP Vertex AI
- 弹性算力：竞价实例、分布式多机多卡训练、算力租赁平台
3. 存储系统
- 高速缓存：Redis、Alluxio（训练样本加速读取）
- 分布式存储：对象存储 OSS、MinIO、Ceph（海量训练数据集）
- 向量数据库存储底座：本地 SSD、高性能云盘
4. 网络
- 高速互联：InfiniBand（多机大模型训练）、RoCE v2、200G/400G 网卡
- 通信库：NCCL（NVIDIA 多卡通信）、RCCl（昇腾）
二、基础软件栈层（编译、加速、算子）
1. AI 框架底层加速库
- CUDA /cuBLAS/cuDNN：NVIDIA GPU 算子加速核心
- ROCm：AMD 开源 GPU 软件栈
- CANN：华为昇腾算子开发套件
- OneDNN、OpenVINO：Intel CPU/GPU 加速
2. 模型编译优化（核心推理技术）
- 量化工具：GGUF/GGML、AWQ、GPTQ、SmoothQuant、INT4/INT8/FP16/FP8 量化
- 推理编译器：
- TensorRT（NVIDIA）、Torch-TensorRT
- ONNX Runtime、Triton Inference Server
- vLLM、SGLang（大模型高吞吐推理）
- TVM、MLC-LLM（跨设备通用编译，手机 / 本地 PC 跑大模型）
- DeepSpeed-MII、TensorRT-LLM
- 轻量化技术：模型剪枝、蒸馏、低秩分解 LoRA
3. 并行训练底层库
- DeepSpeed（微软）：ZeRO 系列，万亿参数大模型分布式训练
- Megatron-LM：大规模 Transformer 张量并行、流水线并行
- Colossal-AI：国产高效分布式训练框架
三、核心深度学习框架（模型开发载体）
1. 主流通用框架
- PyTorch：科研、微调、大模型首选，动态图生态完善 配套：TorchVision、TorchAudio、TorchText、TorchServe
- TensorFlow / Keras：工业落地、静态图、生产部署友好
- JAX：谷歌，自动微分、向量化，大模型、强化学习专用
2. 国产框架
- PaddlePaddle（飞桨）：全栈国产，文心大模型配套
- MindSpore：华为昇腾芯片原生框架
3. 轻量级端侧框架
- MNN、NCNN、Tengine：手机、嵌入式设备推理
四、大模型核心技术栈（当前 AI 开发主流赛道）
（一）基础模型架构技术
- Transformer 系列
- 原生 GPT 类（自回归 LLM）：GPT、LLaMA、Qwen、Mistral、Llama 3
- Encoder-Decoder：T5、BART（翻译、摘要）
- Encoder 仅：BERT、RoBERTa（分类、检索）
- 混合架构：MoE 混合专家（Mixtral、GLaM，万亿参数低成本训练）
- 多模态架构
- CLIP、ALBEF、LLaVA、Qwen-VL、Gemini、GPT-4V：图文统一编码器
- AudioLLM：AudioLLaMA、Qwen-Audio、Whisper 语音大模型
- 视频大模型：Sora、Kling、CogVideoX
（二）大模型训练技术
- 预训练：海量文本 / 多模态数据、自监督学习、Next Token Prediction
- 分布式并行策略
- 数据并行：多卡跑不同样本
- 模型张量并行：单模型拆分多卡
- 流水线并行：分层拆分 Transformer
- ZeRO：优化器 / 梯度 / 参数分片，突破单卡显存限制
- 训练优化：FlashAttention、PagedAttention、滑动窗口注意力、RoPE 位置编码
（三）微调技术（低成本定制模型）
- 全参数微调：资源消耗大，小模型专用
- 参数高效微调 PEFT（工业主流）
- LoRA：低秩适配，仅训练少量矩阵，显存占用极低
- QLoRA：量化后微调，单消费级显卡即可微调 7B/13B 模型
- IA3、Prefix Tuning、Prompt Tuning、Adapter Tuning
- 对齐技术（让模型符合人类指令）
- SFT 监督微调：标注指令数据集训练
- RLHF：人类反馈强化学习
- DPO/ORPO：替代 RLHF，更简单高效的偏好对齐
（四）推理加速技术（线上服务核心）
- 显存优化：PagedAttention、KV Cache 复用、连续批处理（Continuous Batching）
- 量化压缩：FP8、INT4、GGUF、AWQ/GPTQ 权重量化
- 高吞吐框架：vLLM、SGLang、TensorRT-LLM、Text Generation Inference (TGI)
- 离线本地推理：Ollama、llama.cpp、MLC-LLM
五、多模态 AI 专项技术
1. 计算机视觉 CV
- 基础任务：分类、检测 YOLO、分割 SAM、OCR、姿态识别
- 生成类：文生图 Stable Diffusion、FLUX、Midjourney 底层 Diffusion 模型；ControlNet、IP-Adapter
- 视频生成：CogVideo、Kling、Runway Gen-2、视频插帧、超分
- 3D 生成：NeRF、Instant NGP、3D Gaussian Splatting、文生 3D
2. 语音 AI
- 语音识别 ASR：Whisper、Paraformer、SenseVoice
- 语音合成 TTS：CosyVoice、Bark、FishSpeech、克隆音色
- 语音转换、降噪、声纹识别
3. 多模态统一大模型
- 图文 / 音视频统一基座：Qwen-VL、LLaVA、InternVL、Gemini
六、数据工程技术（AI 开发 70% 工作量）
1. 数据采集
- 爬虫、公开数据集（Hugging Face、LAION、Common Crawl）、业务私有数据、人工标注
2. 数据清洗与过滤
- 文本去重、质量打分、有害内容过滤、数据去重 MinHash、模糊匹配
- 工具：Dedupe、TextFilter、自研数据清洗流水线
3. 数据标注
- 文本标注：LabelStudio、Doccano
- 图像 / 视频标注：LabelMe、CVAT、百度众测、京东众智
- LLM 自动标注：弱监督标注、模型自标注、标注自动化
4. 数据集管理
- Hugging Face Datasets、Dataset Viewer
- 版本管理：DVC（数据版本控制）、LFS 大文件存储
5. 数据加载预处理
- DataLoader、WebDataset、StreamLoader（流式读取 TB 级数据）
- 多机共享数据预取、在线增强
七、向量检索与 RAG 技术（企业落地核心）
1. 嵌入模型 Embedding
- 文本向量：BGE、E5、gte、m3e
- 多模态向量：CLIP、InternVL-Embedding
2. 向量数据库
- 开源：Milvus、FAISS、Chroma、Qdrant、Weaviate
- 云原生：Pinecone、PGVector（Postgres 向量插件）
3. RAG 完整链路技术
- 文档解析：PDF/Word/Markdown 解析、OCR 图文提取
- 文本分块：固定窗口、语义分块、递归分割
- 重排模型 Rerank：BGE-Reranker、Cross-BERT
- 混合检索：关键词检索（Elasticsearch）+ 向量检索多路召回
- 智能 Agent 检索、分层 RAG、自适应分块
八、Agent 智能体技术（新一代应用层核心）
- 基础框架
- OpenAI Agent、LangChain、LlamaIndex、AutoGen、AgentScope（阿里）、Haystack
- 核心能力技术
- 工具调用 Function Calling：模型调用 API、代码、计算器、数据库
- 记忆机制：短期 KV 缓存、长期向量记忆、对话摘要
- 规划能力：ReAct、CoT 思维链、Self-Ask、Plan-Solve
- 多智能体协作：多 Agent 分工、对话协商
- 代码 Agent
- Code Interpreter、CodeLlama、StarCoder、沙盒代码执行环境
九、模型服务与工程化部署
1. 模型服务框架
- 通用推理：FastAPI、Flask 封装模型接口
- 大模型专用：TGI、vLLM OpenAI 兼容接口、Ollama API
- 负载均衡：Nginx、K8s Service、Ingress
2. 容器与编排
- Docker 打包模型环境、K8s 弹性扩缩容
- 镜像管理 Harbor、容器 GPU 虚拟化 nvidia-container-toolkit
3. 监控、可观测
- 指标监控：Prometheus + Grafana（GPU 利用率、吞吐、延迟、显存）
- 日志：ELK、Loki
- 模型质量监控：输入漂移、输出幻觉检测、准确率监控
4. AIGC 生产链路
- 任务队列：RabbitMQ、Redis Queue、Celery
- 异步生成、任务优先级、限流熔断
十、MLOps 全生命周期管理（AI 工程平台）
- 实验管理：MLflow、Weights & Biases、TensorBoard（记录 loss、指标、超参）
- 模型版本管理：DVC、Hugging Face Hub、Model Registry
- 流水线自动化：Airflow、Prefect、PAI Pipeline、Kubeflow
- 特征平台：Feast，统一管理训练 / 推理特征
- 一站式开发平台
- 开源：OpenMMLab、ModelScope、Hugging Face
- 云平台：阿里云 PAI、华为 ModelArts、腾讯 TI、百度飞桨平台
十一、安全与对齐技术
- 内容安全：Prompt 注入防护、输入过滤、输出安全审核
- 模型安全：模型水印、模型防盗、权重加密、对抗样本防御
- 对齐技术：SFT、DPO、RLHF、RLAIF、红队测试
- 隐私计算：联邦学习、差分隐私、隐私微调
十二、应用层开发技术（业务落地）
- API 封装：兼容 OpenAI 接口标准，快速切换各类开源 / 闭源大模型
- 前端交互：Web 前端 Vue/React、AI 对话页面、绘图页面
- 低代码 AI 平台：FastGPT、Dify、Coze、FlowUs AI
- 垂直行业方案：知识库客服、代码助手、AI 数字人、AI 办公、自动驾驶感知
十三、开源生态核心工具汇总
- 模型仓库：Hugging Face Hub、ModelScope、魔搭
- 微调工具：PEFT、Transformers、Axolotl、Unsloth（极速 QLoRA 微调）
- 数据集：Datasets、LAION
- 推理加速：vLLM、llama.cpp、TensorRT-LLM
- Agent 框架：LangChain、LlamaIndex、AutoGen
分层总结（简化版）
- 底层：算力芯片 + 集群调度 + 加速算子库
- 中层：深度学习框架 + 大模型训练 / 微调 / 推理核心算法
- 数据层：数据采集清洗标注 + 向量检索 RAG
- 智能层：多模态生成 + Agent 智能体
- 工程层：MLOps、容器部署、线上推理服务
- 上层：低代码平台、行业 AI 应用
持续更新
持续更新
持续更新
汇聚全球AI编程工具，助力开发者即刻编程。
更多推荐
6
0- 0
已为社区贡献1条内容
所有评论(0)