“部署一个大模型要多少钱？”

这个月已经有三个人问我这个问题了。有新创业的哥们，有公司的技术负责人，还有一个是大学生想搞毕设。

我理解他们的困惑——外面说的数字从"一张显卡就够了"到"至少几百万"都有，根本不知道信哪个。

正好我去年到今年一直在做模型部署相关的事，手头有一个真实项目的完整成本数据。今天就把它全部摊开来讲，一分钱都不藏着。

先说项目背景

我这边是一个AI客服项目，7B模型，服务日活大约1万用户。这个规模不算大，但对大多数中小企业来说比较有参考价值。用的模型是Qwen2.5-7B，部署框架vLLM，4张A100 80G。场景是实时对话，要求首Token延迟在500ms以内。

为什么选4张A100而不是更便宜的方案？往下看就知道了——我一开始也踩过坑。

一次性投入：买卡还是租卡

先算大头的。

方案1：买卡

一张A100 80G的价格，现在大概12-15万人民币。4张就是48-60万。再加上服务器，一台双路的服务器配网卡、内存、硬盘，大概4-8万。总的硬件投入在55-70万之间。

优点是长期用下来边际成本低。缺点是——你得有地方放。服务器机房租金、电力、网络，这些隐形成本加起来一年大概3-5万。

适合： 有稳定机房的团队，日均请求量稳定且持续增长。

方案2：租云GPU

我们一开始就是租的。阿里云PAI的A100 80G单价大概是35-45元/时。4张卡同时跑，一天24小时就是3500-4300元。一个月下来10-13万。

注意，这只是GPU的价格。存储、网络、API网关等加起来，一个月大约再加2000-3000元。

我们当时租了三个月就决定换方案了——太贵了。三个月花了40万左右，够买半套硬件了。

适合： 短期项目、验证阶段、不需要长期运行的场景。

方案3：租用算力租赁平台

这是目前我们用的方案。一些算力租赁平台（比如AutoDL、趋动云、矩池云）的A100价格比云厂商便宜不少。包月的话大概8000-12000元一张。4张一个月4-5万。比云厂商省了一半多。

缺点是稳定性不如大厂，偶尔会出网络抖动的问题。我们遇到过两次因为集群迁移导致服务中断半小时的情况。

适合： 长期运行但预算有限的团队。

每月运营成本明细

选好硬件方案后，每个月还有固定运营成本。我以我们目前用的算力租赁方案（4张A100包月）为例，把账算清楚。

项目	月费用（元）
GPU租赁（4张A100）	40,000-48,000
对象存储（OSS/COS）	500-1,000
带宽和流量	2,000-3,000
域名和SSL	100
监控和日志服务	500
弹性计算（备用实例）	3,000-5,000
总计	46,100-57,600

这里面GPU是大头，占了80%以上。其他乱七八糟的加一起影响不大。

按日活1万用户、月访问量30万次来算，每个用户每月成本大约5块钱。如果用户量翻倍到2万，成本不会翻倍，因为GPU利用率更高了，边际成本会下降——可能变成每个用户3块钱左右。

推理成本的算法

除了月度账单，我还想算清楚一个核心指标：每次对话的成本是多少？

我们的7B模型在4卡A100上，vLLM部署，实测数据如下：

• 平均每个请求的输入长度：800 tokens
• 平均每个请求的输出长度：400 tokens
• 单次推理耗时：600-800ms
• 每秒能处理的请求数：约30 QPS（4卡）
• 单卡单价（包月）：~10,000元/月

按月度推理量来算：30万次对话/月，每次对话平均消耗1200 tokens。单次对话的推理成本大约是46,100 / 300,000 ≈ 0.15元/次。

如果优化一下，把输出长度控制在200 tokens以内，成本还能再砍一半。所以别小看prompt工程——少说废话，就是省钱。

不同规模的成本推算

为了让你更直观地了解不同规模下的成本，我做了个估算表，仅供参考。假设用的是7B模型，vLLM部署，算力租赁平台。

场景一：日活1000用户（小型团队/创业初期）

• GPU：1张A100就够了
• 月成本：约12,000-15,000元
• 单用户成本：12-15元/月

场景二：日活1万用户（中型项目/中小企业）

• GPU：4张A100
• 月成本：约50,000-60,000元
• 单用户成本：5-6元/月

场景三：日活10万用户（大型项目）

• GPU：需要8-16张A100，或者换H100/A800
• 月成本：约20-40万
• 单用户成本：2-4元/月

场景四：日活100万用户（平台级）

• GPU：集群级别，50-100张H100
• 月成本：200万以上
• 单用户成本：约2元/月

注意用户的规模效应很明显——用户越多，单用户成本越低。但如果你的模型参数更大（比如70B），成本会呈指数级增长。一个70B模型需要的显存是7B的10倍，需要的GPU数量也是10倍左右。

最省钱的两个技巧

这个项目做到现在，我总结出两个最有效的省钱方法。

技巧1：量化，必须量化。

把7B模型从FP16量化到INT4，显存需求从14GB降到4GB左右。这意味着原本需要4张卡的活儿，可能2张就够了。我们做完量化后GPU数量没变，但增加了模型并发，吞吐量提升了60%左右。精度损失？实测在业务数据集上不到2%，基本不影响效果。

技巧2：动态批处理。

vLLM的continuous batching一定要开。不开的话，同时来10个请求就得排队。开了之后，GPU可以同时处理多个请求，吞吐量能提升3-5倍。这个功能不用额外花钱，但效果非常显著。

我们刚上线时没开这个参数，GPU利用率一直在30%左右。开了之后直接拉到了75%以上。相当于白捡了一倍的算力。

写在最后

写这些不是想吓你，而是想告诉你：模型部署的成本是可预见的，也是可控的。

如果只是做实验跑demo，一张消费级显卡就够了，几千块钱的事。如果是线上服务，月活不高的场景，一个月一两万也能搞定。真正烧钱的是那些日活几十万、又用大模型的场景——那种情况确实花钱如流水。

最后给你一个建议：别先买卡。 先租三个月的云GPU或者算力租赁，跑一段时间，拿到真实数据后再决定要不要买硬件。这样可以避免最惨的情况——花了几十万买卡，发现业务没起来，卡在机房吃灰。

这是从业者的真心话，不是广告。