LiteLLM：一个接口调用上百个大模型的开源网关

做 AI 应用开发的人大概都遇到过这个问题：项目里要同时调 OpenAI、Anthropic、Google 几家的模型，每家 SDK 不一样，认证方式不一样，请求格式也不一样。光是把这些 SDK 装好、封装好，就得花不少时间。

LiteLLM 就是来解决这个问题的。它是一个开源的 AI 网关，Star 数已经超过 5 万，核心思路很简单：用 OpenAI 的格式去调所有大模型，一套代码搞定一切。

两种用法，按需选择

LiteLLM 提供两种使用方式。一种是 Python SDK，直接在代码里集成，适合开发者在项目中调用。另一种是 AI Gateway 代理服务器，部署起来给整个团队用，所有请求走统一入口。

两种方式都支持 100 多个 LLM 提供商。主流的 OpenAI、Anthropic、Google Gemini、AWS Bedrock、Azure、Mistral、Deepseek 全部在列。连 Ollama 这种本地跑模型的工具、Huggingface 上的开源模型也能接入。基本上你能想到的模型，它都支持。

实际解决了什么问题

LiteLLM 最大的卖点是 OpenAI 兼容格式。也就是说，如果你的项目已经在用 OpenAI SDK，换成其他模型只需要改一行代码，业务逻辑完全不用动。

对团队来说，代理服务器的功能更实用。它支持虚拟密钥，可以给不同项目分配不同的密钥，单独追踪每个项目的花费。还能设置预算上限，防止某个项目把额度用超了。

性能方面，官方给的数据是 8 毫秒 P95 延迟，每秒处理 1000 个请求。Stripe、Netflix、OpenAI Agents SDK 这些都在生产环境里用了。

除了调模型，还能做什么

LiteLLM 不只是个模型转发工具。它还支持 A2A 协议，可以让多个 AI 代理互相通信。比如用 LangGraph 搭建的代理、Google Vertex AI 的代理、Azure AI Foundry 的代理，都可以通过 LiteLLM 统一管理和调用。

MCP 协议也支持。通过 MCP，LLM 可以调用外部工具，比如查数据库、调 API、读文件。LiteLLM 把 MCP 工具转成 OpenAI 格式，任何模型都能直接用。在 Cursor 这类 IDE 里配置也很方便，几行 JSON 就搞定。

部署不复杂

最简单的方式是 Docker 一行命令启动。生产环境的话，项目提供了 Terraform 模块，支持一键部署到 AWS 或 GCP。AWS 走的是 ECS Fargate 加 Aurora 加 ElastiCache 的架构，GCP 走 Cloud Run 加 Cloud SQL。两个方案都包含数据库、缓存、负载均衡，开箱即用。

开源和企业版

LiteLLM 是开源项目，MIT 协议，代码全在 GitHub 上。核心功能都在开源版里，大多数团队用开源版就够了。

企业版额外提供单点登录、优先技术支持、自定义集成这些功能。如果公司对安全合规要求高，可以考虑企业版。

总的来说，LiteLLM 解决的是大模型开发中一个很实际的问题。5 万多 Star 不是白来的，项目确实好用。如果你的项目需要调用多个大模型，值得花半小时试一下。

r 不是白来的，项目确实好用。如果你的项目需要调用多个大模型，值得花半小时试一下。