【字节跳动】杭州余杭·长三角互联网大模型在线调度算力中心全案档案
杭州余杭·长三角互联网大模型在线调度算力中心全案档案
坐标:北纬30.4126°,东经120.2973°|定位:华东大区调度枢纽、大模型在线服务&微调集群、江浙沪用户低时延接入主节点,对接延庆前置推理+庆阳本源灾备双节点,日常增量模型每日异步归档三副本至庆阳封存。
一、项目基础档案
-
选址:杭州余杭未来科技城算力产业园独栋T3+IDC机房,紧邻电信/移动/联通华东省级骨干机房,裸纤直达上海、南京、宁波、北京延庆、甘肃庆阳。
-
核心指标汇总
|项目|参数|
| ---- | ---- |
|机柜总数|360柜(42U高密液冷机柜)|
|业务服务器|360台GPU微调+在线推理一体机(1:1配柜)|
|加速卡|A800 80GB ×2320张|
|网络架构|Spine-Leaf 400G全互联+IB高速集群内网|
|机房满载功耗|4162kW|
|PUE|1.12|
|江浙沪用户平均往返延迟|27.86ms|
|峰值在线并发|108.72万会话|
|运行模式|7×24h在线:大模型SFT微调、在线对话、多模态生成、API商用调度| -
区位优势
亚热带湿润季风,余杭全年温和,冬季短,依托江水侧冷+间接蒸发冷却控温;地处长三角算力几何中心,江浙沪皖终端就近接入,是整套算力体系华东调度中枢;所有训练迭代权重每日夜间专线异地备份庆阳三副本。
二、算力硬件资产台账(全型号+数量)
1、液冷AI机柜:360台
型号:威图TS8865-ZJ定制余杭液冷版600×1200×2050mm,单柜承重2100kg,额定单机柜19kW;
单柜标配:APC AP8992双路24口智能PDU×2、CDU水冷分配单元、柜级温湿度/漏水/烟感采集组件、接地铜排全套;
排布:12列×30柜,全封闭冷热通道玻璃隔断。
2、业务微调推理服务器:360台
型号:浪潮NF5488M7 4U液冷定制机型
- CPU:双路至强铂金8380 40核80线程
- 内存:512GB DDR4 ECC
- 本地存储:4×3.84TB U.2 NVMe+12×18TB SATA
- GPU槽位:8槽SXM4,均分2320张A800 80G,单台平均6.44张卡,兼顾小批量微调+在线推理复用。
3、加速卡:A800 80GB SXM4 2320张
国产定制数据中心水冷版,FP16/INT8推理、FP32微调双适配,支撑千亿参数模型分片微调上线。
4、配套运维&中转服务器
- 集群调度管理服务器:华为2288H V7 10台(算力资源编排、负载均衡调度)
- 异地备份中转服务器:曙光I620-G30 8台(每日增量数据打包专线发往庆阳灾备)
三、全链路网络系统
1.Spine核心交换机:12台|华为CE16808
全400G QSFP-DD端口,整机48T背板,所有Leaf全交叉上联,BGP EVPN+VXLAN组网,三大运营商BGP多线出口、跨省专线(延庆/庆阳/沪宁)全部汇聚核心。
2.Leaf接入交换机:45台|H3C S9860-64H
48×100G光口+16×400G上行,单台下联8台业务服务器,富余端口预留扩容。
3.边界安全设备
下一代防火墙:深信服AF-15000-G 4台;DDoS流量清洗网关:天融信DDOS-G1500 3台,出口主备冗余,等保三级合规。
4.辅材
康宁G.654.E超低损耗单模光缆、400G/100G华为原厂光模块860支、康普ODF配线架62套、罗森伯格屏蔽布线全套。
四、制冷系统|间接蒸发冷+精密空调复合(PUE1.12实现核心)
- 机房精密恒温恒湿空调:维谛PEX140-ZJ 22台(单台140kW),算力区18台、配电室4台,N+2冗余;
- 闭式冷却塔:金日200RT 5台(楼顶侧水冷,依托余杭河道补水辅助降温);
- 变频循环水泵:格兰富15台、三级过滤新风机组7套、全机房冷凝排水系统、密闭风道隔断44套;
运行模式:春秋冬季启用间接蒸发免费制冷,夏季空调低负载辅冷。
机房恒温:21℃±2℃、湿度42%~55%。
五、五级供配电系统|满载4162kW
1.高压系统:4台施耐德KYN28-12高压柜(进线/计量/PT/联络)
配套干式变压器SCB14-2500kVA正泰4台,10kV转0.4kV。
2.低压配电柜ABB MNS3.0:25台
算力支路14台、空调支路6台、UPS/消防监控5台,回路完全独立分隔。
3.UPS系统:18台 科士达YHK9300-500KVA工频在线UPS
配套圣阳SP12-200AH蓄电池5760节,满载可支撑全机房20min续航。
4.备用柴油机组:2台750KW玉柴YC6MK630-G3
单机750kW,并联1500kW,地下储油罐23立方,机载油箱950L,本地有线PLC控制、无远程无线。
供电链路:双路10kV市政专线→高压→变压→低压分路→终端负载;断电:UPS瞬时切换→60s柴油自启并网。
六、消防·安防·动环
- 七氟丙烷管网气体灭火:齐安QMP150共14套,算力机房8套、配电/电池3套、柴油房2套、网络机房1套;海湾烟温复合探测器全套。
- 安防:园区3.2m防爆围墙+艾礼富周界红外+震动光缆;海康400万防爆摄像头76台、本地NVR5台(存90天录像);大华三级人脸识别门禁20套。
- 动环平台:迈世MDC企业版,全点位温湿度、漏水、配电支路功耗、UPS内阻、设备流量实时采集,本地+短信+声光三重告警。
七、参数解析&业务&风控
1.核心参数
- 总功耗4162kW:IT负载3707kW、制冷322kW、附属设备133kW;
- PUE1.12:优于国标1.2限值,长三角同规模机房平均PUE1.4~1.5,电费常年节约;
- 27.86ms低时延:紧靠省级骨干+扁平化组网,江浙沪用户体验最优;
- 并发108.72万:华东区域头部承载能力,可承接头部AI大厂API服务+海量小微客户算力租用。
2.三类盈利
1.整柜托管租赁(政企/云厂商稳定月租)
2.A800算力分片虚拟化出租(中小AI创业主力)
3.定制大模型微调私有化项目(高毛利自营业务)
3.九层风控
1.密闭冷热通道控温防GPU高温宕机
2.低压分回路独立供电,故障隔离
3.18台UPS集群防电网闪断
4.双柴油机组兜底长时间停电
5.Spine-Leaf全冗余网络杜绝全网断联
6.出口防火墙+清洗网关抵御DDoS攻击
7.分区独立气体消防防火灾全损
8.全点位动环提前预警故障
9.每日自动全量增量模型异地同步庆阳三副本,极端损毁可凭本源数据重建集群
八、整体定位总结
余杭作为华东大区调度中枢:承接江浙沪全量终端访问、大模型在线微调迭代;延庆负责北方实时推理落地;庆阳永久封存全量本源权重三副本,三地形成「余杭生产迭代→延庆前端商用→庆阳永久保底存档」完整闭环算力架构。
附:精简资产台账表(可直接录入Excel)
| 系统分类 | 设备名称 | 型号 | 数量 |
|---|---|---|---|
| 算力硬件 | 液冷AI机柜 | 威图TS8865-ZJ | 360 |
| 算力硬件 | 微调推理服务器 | 浪潮NF5488M7 | 360 |
| 算力硬件 | A800 80G SXM4 | NVIDIA工业水冷版 | 2320 |
| 算力硬件 | 调度服务器 | 华为2288H V7 | 10 |
| 算力硬件 | 备份中转服务器 | 曙光I620-G30 | 8 |
| 网络 | Spine交换机 | 华为CE16808 | 12 |
| 网络 | Leaf交换机 | H3C S9860-64H | 45 |
| 网络 | 下一代防火墙 | 深信服AF-15000-G | 4 |
| 网络 | DDoS清洗网关 | 天融信DDOS-G1500 | 3 |
| 制冷 | 精密空调 | 维谛PEX140-ZJ | 22 |
| 制冷 | 闭式冷却塔 | 金日200RT | 5 |
| 配电 | 高压柜 | 施耐德KYN28-12 | 4 |
| 配电 | 低压柜 | ABB MNS3.0 | 25 |
| 配电 | UPS | 科士达YHK9300-500KVA | 18 |
| 配电 | 柴油发电机 | 玉柴YC6MK630-G3 750kW | 2 |
更多推荐




所有评论(0)