国内稳定调用 GPT/Claude 的落地实战：从配置到监控

"调用不稳定"是国内做大模型应用绕不开的话题。这篇不讲玄学，按四步给出能直接落地的实战步骤：配置、重试、降级、监控。代码都能复制。

第一步：配置化，打好地基

所有灵活性的前提，是别把 base_url、Key、模型名写死。统一放环境变量：

export BASE_URL="YOUR_BASE_URL"      # 形如 
export API_KEY="sk-xxxxxx"
export MODEL_PRIMARY="claude-sonnet-4"
export MODEL_FALLBACK="gpt-4o-mini"

import os
from openai import OpenAI
client = OpenAI(base_url=os.getenv("BASE_URL"),
                api_key=os.getenv("API_KEY"),
                timeout=30.0)

timeout 一定要设，不设的话网络抖动时请求会无限挂着，拖垮整个服务。

第二步：重试，消化偶发失败

429 限流和偶发 5xx 是常态。指数退避加随机抖动：

import time, random
def call_with_retry(fn, retries=3):
    for i in range(retries):
        try:
            return fn()
        except Exception:
            if i == retries - 1:
                raise
            time.sleep((2 ** i) + random.random())

随机抖动避免并发请求同时重试、又一起被限流。

第三步：降级，主备切换

主模型挂了能自动切备用，是可用性的关键。OpenAI 兼容接口下，切模型只是换名字：

def chat(messages):
    for model in [os.getenv("MODEL_PRIMARY"), os.getenv("MODEL_FALLBACK")]:
        try:
            return call_with_retry(lambda: client.chat.completions.create(
                model=model, messages=messages))
        except Exception:
            continue
    raise RuntimeError("所有模型都失败了")

第四步：监控，让问题可见

至少记三个指标：成功率、P95 延迟、各模型用量。出问题时能快速判断是上游问题还是代码问题：

import time
def timed_chat(messages):
    t0 = time.time()
    ok = True
    try:
        return chat(messages)
    except Exception:
        ok = False
        raise
    finally:
        # 打点：耗时 time.time()-t0、是否成功 ok，落到日志/监控
        pass

关于上游入口

入口按团队情况选：用量小官方直连，要强管控自建网关，想省心用第三方聚合（聚合服务、OpenRouter 等都属此类，灰度实测后选）。但要强调——上面四步跟选哪个入口无关，是你自己能掌控的稳定性底座。换了"更稳的"入口却仍频繁报错，问题往往就出在这四步没做全。

上线检查清单

• base_url / Key / 模型名全部配置化，Key 不进仓库
• 请求设了 timeout
• 有指数退避重试
• 有主备模型降级
• 记录了成功率、P95、用量

小结

稳定调用 = 配置化地基 + 重试 + 降级 + 监控。把这四步按清单落地，无论上游是谁，你的调用都能稳在一个可控的水平。入口决定下限，这四步决定你能不能把下限稳稳守住。