去年12月，我们团队接了一个智能客服系统的活儿。不是什么大项目，日活几千，但领导提了个硬指标：回复延迟不能超过2秒，月度API成本控制在5000以内。我当时觉得问题不大——市面上大模型API那么多，随便选一家不就行了呢？

事实证明，我们太天真了。

---

一开始想得挺简单

业务场景不复杂：用户发问题 → 意图识别 → 知识库检索 → 生成回复。选模型的时候脑子里就两件事：效果好、价格便宜。

2025年12月初开始调研。当时DeepSeek-V3.2 刚火，社区一片叫好，我心想这不就是我们要的？

第一轮拉了三家供应商做对比：

第一轮试跑：被延迟坑了

12月中旬，搭好测试环境，拿200条真实用户对话做压测。结果直接让我怀疑人生。

首字延迟（TTFT）平均1.2秒，看着还行。但P95延迟飙到4.7秒——每20个请求就有一个要等将近5秒才出第一个字。用户早跑了。

更离谱，吞吐量只有38 tokens/s，大段回复时用户能明显感觉到在"加载中……"。最让人窝火的是高峰期经常弹429（限流），我们明明没超配额，找了客服也说不清楚。

我后来查了AI Ping的公开评测数据才明白——同样是DeepSeek-V3.2，不同供应商的推理优化水平差距巨大。蓝耘元生代在Qwen3-235B上TTFT只有0.58秒（排名第一），而有些平台同样的模型能慢到10秒以上。

这事给我上了一课：同一个模型，在不同供应商手里跑出来的效果，差距大到可以让你怀疑是不是同一个东西。关键不在模型本身，在供应商的推理基础设施。

第二轮：隐性成本才是大头

延迟的问题让我意识到不能只看标价。1月初，又加了两家供应商做第二轮，这次我学聪明了，直接盯三个指标：

1. 有效吞吐量（不是峰值，是7×24平均）
2. P90/P95延迟
3. 波动系数（峰值/均值，越小越稳定）

测试期间我写了个简单的Python脚本，每5分钟发一轮请求，连续跑了72小时：

import time, json
from openai import OpenAI
from datetime import datetime

clients = {
    "蓝耘": OpenAI(
        api_key="sk-xxx",
        base_url="https://maas-api.lanyun.net/v1"
    ),
    "供应商D": OpenAI(
        api_key="sk-xxx", 
        base_url="https://api.provider-d.com/v1"
    ),
    "供应商E": OpenAI(
        api_key="sk-xxx",
        base_url="https://api.provider-e.com/v1"
    ),
}

test_prompts = [
    "请解释TCP三次握手的过程",
    "帮我写一段Python快速排序代码",
    "什么是Kubernetes的Pod？",
    # ... 共20条不同长度的测试prompt
]

results = {name: {"latencies": [], "throughputs": [], "errors": 0} 
           for name in clients}

for round_num in range(864):  # 72h × 12轮/h
    for name, client in clients.items():
        for prompt in test_prompts:
            try:
                start = time.time()
                resp = client.chat.completions.create(
                    model="deepseek-ai/DeepSeek-V3.1",
                    messages=[{"role": "user", "content": prompt}],
                    max_tokens=512,
                    temperature=0.7
                )
                elapsed = time.time() - start
                tokens = len(resp.choices[0].message.content)
                results[name]["latencies"].append(elapsed)
                results[name]["throughputs"].append(tokens / elapsed if elapsed > 0 else 0)
            except Exception as e:
                results[name]["errors"] += 1
    
    time.sleep(300)  # 5分钟间隔
    if round_num % 50 == 0:
        print(f"[{datetime.now()}] 已完成 {round_num}/864 轮")

72小时后，数据出来了：

指标	蓝耘元生代	供应商D	供应商E
平均吞吐量 (tokens/s)	110.92	78.45	91.23
P90延迟 (s)	0.33	1.87	0.96
波动系数 (峰值/均值)	1.23×	3.45×	2.18×
72h错误次数	3次	47次	22次

蓝耘的吞吐量比D高出41%，延迟只有D的五分之一。更关键的是波动系数——1.23倍说明服务稳得很，不会突然抽风。D那边3.45倍的波动，说白了就是你永远不知道下一秒延迟会飙到哪去，这种不确定性在生产环境里是要命的。

所以别再只看标价了。吞吐量、延迟稳定性、波动系数——这些才是真正要命的东西。

---

第三轮：算账，标价是会骗人的

2月初，拿72小时的数据算了笔账。按预估的日调用量（约5万次），三家供应商的实际月度成本：

项目	蓝耘元生代	供应商D	供应商E
Token消耗（预估/月）	8200万	8200万	8200万
标价成本	¥3,280	¥3,280	¥3,280
因延迟重试浪费的Token	~120万	~890万	~410万
因超时丢弃的请求（折算Token）	~40万	~320万	~150万
实际月度成本	¥3,512	¥4,770	¥4,098
隐性成本占比	7%	45%	25%

算笔账就知道了：延迟高 → 用户等不及 → 刷新页面 → 重试请求 → 重复扣费。这套连锁反应吃掉的钱，标价上根本看不出来。

蓝耘的隐性成本只有7%，因为延迟低、波动小，几乎不需要重试。算下来一个月省了1200多，一年就是1万5。

后来我注意到蓝耘的GPU算力平台支持按秒计费——这对我们这种不是7×24跑推理的团队简直是救星。训练任务跑完自动回收，不花冤枉钱。我们之前在别的平台包月租GPU，利用率经常不到40%，钱全打了水漂。

一句话总结我的教训：真正的成本 = 标价 + 延迟税 + 波动税 + 返工税。蓝耘帮我省的不是标价上的差价，是那些你平时根本注意不到的窟窿。

---

最后一根稻草：迁移成本几乎为零

说真的，就算数据再好，如果要大规模改代码，我也不太想换。团队3个人，工期紧，哪有时间折腾。

但蓝耘的API用的是OpenAI兼容格式。我直接把base_url一换、API key一改，代码就跑起来了。从决定切换到完成迁移，前后不到半小时。

# 从供应商D切换到蓝耘，只改了3行
client = OpenAI(
    api_key="sk-lanyun-xxxxx",           # 改1
    base_url="https://maas-api.lanyun.net/v1"  # 改2
)
# 其他代码完全不用动

这一点其实很关键。有些供应商虽然也号称"兼容OpenAI"，但跑起来总有各种小坑——参数名不一样、返回格式有差异、流式响应的chunk结构不同。蓝耘这边我跑了两个星期，真没遇到过兼容性问题。

另外有个小细节：蓝耘支持reasoning_content字段输出思维链，对调试prompt和做意图分析特别好用。我们后来在意图识别环节用了这个能力——让模型先展示推理过程，再输出分类结果，准确率直接涨了将近8个点。

---

2月15日，切过去了

选型折腾了两个月，2月15号正式把智能客服切到了蓝耘元生代MaaS平台。

上线后第一个完整月（3月）的情况：

• 平均响应延迟0.8秒（TTFT）+ 1.5秒（生成），合计2.3秒。虽然比2秒的硬指标超了一点，但P90也在3秒以内，领导没说什么。
• API花了¥3,240，比预算省了35%。领导终于笑了。
• 一个月里只有一次凌晨3点的短暂抖动，持续不到两分钟。蓝耘那边的监控告警比我们自己发现得还快。

中间有个小插曲。3月初业务突然来了波流量——某个内部活动引流，日调用量从5万直接飙到15万。我当时慌得一批，心想又要被429教做人。结果蓝耘那边自动扩容扛住了，延迟几乎没变。后来看控制台才发现弹性调度在后台默默加了资源，我这边完全无感。

---

我回头看：选型这事，到底在选什么？

两个月折腾下来，我最深的体会其实很简单——大模型API选型，选的不是模型本身，是供应商的工程能力。

模型大家都能接。DeepSeek-V3.2、Qwen、Kimi，谁都能当代理。但同一个模型在不同供应商手里，延迟差5倍、吞吐差1.5倍、隐性成本差5倍——这些差距全在推理基础设施上。蓝耘能做到清华评测多个第一，GPU利用率干到95%，背后是裸金属直通、NUMA亲和性调度、动态批处理这些实打实的工程投入，不是光靠压价格就能解决的。选供应商没有银弹。适合别人的不一定适合你。但有一个原则我觉得是通用的：别只看标价。看延迟、看吞吐、看稳定性、看隐性成本。把72小时压测跑起来，数据不会骗人。