大模型应用 ROI 评估：别只算调用成本

一、ROI 不是 token 单价乘调用量

大模型应用落地时，老板最关心 ROI。很多技术方案只算模型调用成本：每次多少 token，每月多少请求，总费用多少。这只是成本的一部分。真正的 ROI 还要算人工节省、转化提升、响应速度、错误代价、维护成本和失败风险。

我经历过这样一个场景：团队做了一个智能客服功能，每次调用成本 0.02 元，每天 1000 次请求，月模型成本 600 元。单看这笔成本便宜得不像话。但上线后第一个月，我们实际花了 15000 元——不是模型变贵了，而是：

• 模型给了几次错误的退款建议，客服同学花了 3 天复核和修正；
• Prompt 改了几十版，开发同学投入了约 3 个人周；
• 用户投诉"AI 答非所问"，运营同学逐个安抚和转人工；
• 评测集的构建和维护又花了 2 个人周。

一个模型功能如果每月省 5000 元调用费，却增加 2 个人维护和大量客服投诉，那就不划算。技术选型要回到业务账本。ROI 算的是全链条的成本和收益，不是某个环节的单价。

二、评估链路：收益和成本一起算

flowchart LR
    A[业务场景] --> B[人工基线]
    B --> C[AI 方案成本]
    C --> D[质量与风险评估]
    D --> E[小流量试点]
    E --> F[ROI 复盘]
    F -->|ROI>0| G[扩量]
    F -->|ROI<=0| H[止损/调整]

先有人工基线，才能评估 AI 是否真的提升。比如客服总结原来每单 3 分钟，AI 后人工复核 40 秒，错误率可接受，这才有节省。没有基线，ROI 就是拍脑袋。

人工基线不只是时间。还有：人工处理的准确率是多少？人工处理有没有延迟？人工处理的可扩展性如何？如果业务量翻倍，人工能跟得上吗？如果人工的瓶颈不是时间而是人数，那 AI 的价值就不只是节省时间，而是突破了扩展上限。

三、计算示例：粗算月度收益

def monthly_roi(
    saved_minutes: float,
    hourly_cost: float,
    model_cost: float,
    ops_cost: float,
    error_cost: float = 0,        # 错误带来的额外成本
    maintenance_cost: float = 0,  # Prompt 维护、评测集更新等
) -> float:
    labor_saved = saved_minutes / 60 * hourly_cost
    return labor_saved - model_cost - ops_cost - error_cost - maintenance_cost

# 示例：每月节省 12000 分钟处理时间，人工成本 80/小时
# 模型费用 3000，运维 5000，错误成本 2000，维护成本 1500
roi = monthly_roi(12000, 80, 3000, 5000, 2000, 1500)
print(f"月度净收益: {roi:.0f} 元")

# 不要只看绝对数字，还要算投入产出比
total_cost = 3000 + 5000 + 2000 + 1500
labor_saved = 12000 / 60 * 80
print(f"投入: {total_cost}, 节省人力: {labor_saved}, ROI 比例: {labor_saved / total_cost:.1f}x")

这个公式很粗，但能提醒我们：模型成本不是唯一成本。ops_cost 包括开发维护、监控、人工复核、异常处理和评测。error_cost 用来量化 AI 出错造成的额外人工或业务损失。maintenance_cost 来自 Prompt 版本迭代、评测集更新、模型切换测试等持续工作。很多 AI 项目失败，不是模型太贵，而是没有把运营成本算进去。

四、工程边界：先做小闭环，不要一口吃全场景

ROI 评估最好从窄场景开始。比如只做工单摘要，不做自动回复；只做知识库问答，不做复杂决策；只做内部提效，不直接面对客户。窄场景更容易定义质量标准和收益指标，也更容易止损。

取舍方面，高自动化收益大，但风险高；半自动化收益小一点，但更容易上线。很多团队适合从"AI 生成初稿 + 人工确认"开始，先把效率提升跑出来，再逐步提高自动化比例。一步到位全自动，失败成本往往更高。

还要把错误成本量化。AI 回答错一次，是用户多问一句，还是造成合同风险？不同场景容错率不同。ROI 不能只看平均收益，要看最坏情况。现实世界里，一次严重错误可能吃掉几个月节省。

ROI 还要看采用率。功能做出来没人用，理论收益再高也没意义。试点阶段要看有多少人真的打开、多少结果被采纳、多少结果被修改、用户为什么不用。AI 产品不是上线即成功，进入工作流才算成功。

评估周期也要合理。某些提效当天就能看到，比如摘要和分类；某些收益需要几周，比如知识库问答降低培训成本。不要用一天数据否定长期收益，也不要用长期想象掩盖短期没人用。指标要和场景节奏匹配。

最后，ROI 报告要写清假设。人工成本怎么算、错误率怎么算、模型价格是否会变、流量是否稳定，这些假设一变，结论也会变。透明的假设比精确到小数点的数字更可靠。

还要把退出条件写清楚。试点跑到什么指标继续投入，低于什么指标暂停，出现什么风险立刻回滚。没有退出条件的 AI 项目，很容易因为"已经投入了"继续烧钱。ROI 评估不只是证明项目值得做，也要证明什么时候不该做。

对创业团队来说，这一点尤其现实。预算有限，AI 功能必须先服务最痛的业务问题。能带来现金流或明显省人力的场景，优先级应该更高。

一个可操作的判断方法：拿到一个 AI 需求，先问三个问题——如果失败了，最大损失是多少？如果没有 AI，现在的替代方案是什么？如果预算只剩一半，这个功能还值得做吗？回答不清楚这三个问题，就不该开始。

五、总结

大模型应用 ROI 评估，要同时看人工基线、模型成本、维护成本、质量风险和试点复盘。别只算 token，真正的账在业务流程里。ROI 不是一个说服老板的数字，而是一个帮助自己判断该不该继续的工具。