ES 做 BI 统计：简单数值求和 / 计数可精确；去重、维度排名、分桶统计天然存在误差，不能直接用于财务、经营类精准报表

一、先分两类：哪些计算准确、哪些天然不准

1. 完全精确的聚合（sum、avg、min、max、value_count、total hits）

• sum求和、avg平均值、min/max极值、value_count字段非空条数、全局总文档数hits.total.value
• 原理：分片独立算出本地总和，协调节点只做简单相加 / 合并，无丢失、无近似算法，结果 100% 准确。
• BI 场景适用：销售额总和、订单总量、单笔最大金额、平均客单价这类纯数值汇总，不会出错。

2. 必然存在误差的聚合（BI 最常用两类大坑）

（1）terms /date_histogram 维度分桶、TopN 排名（最常见报表误差）

现象：维度计数不准、Top 榜单错乱、部分维度丢失、统计总数对不上明细总和腾讯云 根本原因：分布式分片局部 TopN 采样

1. 索引拆分为多个分片，查询下发到每个分片；
2. 每个分片只计算本地前 size 个维度，把少量桶返回协调节点；
3. 分片里排名靠后的维度不会上报，协调节点合并后全局总数缺失。

举个 BI 报表例子：查销量 Top3 商品，2 个分片：

• 分片 1 本地 Top3：A (6)、B (4)、C (4)，D (3) 排第 4 丢弃
• 分片 2 本地 Top3：A (6)、D (3)、B (2) 协调节点合并：A=12、B=6、C=4，D 只统计到 3；实际 D 全局 6 条，本该挤掉 C，报表排名完全错误。 返回结果里doc_count_error_upper_bound代表最大可能误差上限，数值越大报表越不可信Elastic。

（2）cardinality 去重计数（UV、独立客户、唯一订单号）

现象：用户数、独立访客统计和真实值有浮动偏差 根本原因：HyperLogLog++ 近似算法 精确去重需要全量唯一 ID 放入哈希集合，分片传输、内存消耗极大，ES 为性能采用概率估算算法，结果永远是近似值，不是精确值。

• 低基数（唯一值 < 10000）：误差极小，±1% 以内；
• 高基数（千万级 UV）：默认配置误差可达 2%~6%；
• 参数precision_threshold最大只能 40000，再调高无收益，只是内存翻倍。

（3）其他近似指标：percentiles 百分位、stats 拓展统计

同样使用近似算法，中位数、95 分位等数值存在小幅误差，不适合财务精准口径。

3. 额外隐性误差场景（BI 报表极易踩坑）

1. 多表关联缺失：ES 无原生 JOIN，只能宽表冗余，维度同步延迟会导致指标口径不一致；
2. 数据更新覆盖：修正历史单据时，ES 是文档全量覆盖，批量回刷报表易漏更新；
3. 时间分片跨索引：按天分索引报表跨月查询，分片合并遗漏导致总数不对；
4. 大查询熔断截断：海量数据聚合被 ES 熔断，只返回部分结果，报表数值偏小。

二、为什么 OLAP（ClickHouse/Doris）统计一定精准，ES 做不到？

1. 分片计算逻辑不同 OLAP 全分片扫描所有维度，不会丢弃局部桶；ES 分片只返回局部 TopN，天生丢失数据。
2. 去重实现不同 OLAP 支持精确 Bitmap 去重，无误差；ES 只有 HLL 近似估算。
3. SQL 完备性 OLAP 支持窗口函数、CTE、多表 Join，复杂经营指标精准计算；ES SQL 能力残缺，复杂指标只能靠 DSL 近似聚合。
4. 存储模型 OLAP 列存 + 预聚合，离线报表可提前算出精确汇总；ES 倒排索引主打检索，聚合是附加能力。

三、BI 场景取舍方案（怎么降低误差，什么时候坚决不用 ES）

场景 1：实时监控大屏（可接受小幅误差，ES 能用）

• 需求：实时流量、实时订单总额、分钟级 UV 看板；
• 优化手段：
  1. terms 聚合加大shard_size=size*1.5+10，减少分片丢失维度；
  2. cardinality 设置precision_threshold=40000拉满精度；
  3. 单分片索引（小数据量）彻底消除分片 TopN 误差；
  4. 报表限定窄时间范围，减少扫描分片数量；
• 局限：UV、维度榜单仅作参考，不能作为财务对账依据。

场景 2：经营 / 财务 / 对账报表（必须精准，严禁只用 ES）

• 月度营收、门店业绩、客户数量对账、提成核算、同比环比精准拆解；
• 核心要求：数字 100% 可追溯、明细汇总完全匹配、去重无偏差；
• 正确架构：业务数据同步至 ClickHouse/Doris 做离线精准 BI，ES 仅同步实时明细用于检索大屏。

四、一句话总结

1. 纯数值求和、总量、极值：ES 统计结果完全准确；
2. 维度排行、分桶占比、UV 去重：ES 天然存在计算误差，不适合需要精确对账的正式 BI 报表；
3. ES 适合实时监控、明细检索类轻看板；企业标准精准经营报表优先专业 OLAP 引擎。