一、什么是物化视图？

1. 基础概念

普通视图（VIEW）：逻辑视图，仅保存 SQL 语句，查询时实时计算，不占用磁盘； 物化视图（MATERIALIZED VIEW）：物理预计算表，基于基表提前聚合 / 过滤数据，持久化存储在磁盘，查询时直接命中预计算结果，大幅减少扫描、聚合开销。

2. 核心价值

1. 加速聚合查询：求和、计数、平均值、去重 COUNT、分组统计等高频报表查询提速数十倍；
2. 自动透明路由：用户无需改 SQL，Doris 优化器自动匹配最优物化视图，无业务侵入；
3. 自动数据同步：基表 Stream Load/Broker Load/Insert 写入数据后，MV 增量刷新，无需手动维护；
4. 存储分层优化：提前聚合减少明细数据扫描 IO，适合海量明细报表场景。

3. 适用 / 不适用场景

✅ 适合

• 固定维度分组聚合报表（日 / 门店 / 渠道销售额统计）
• 高频 COUNT (DISTINCT)、SUM、AVG、MAX/MIN 计算
• 大宽表多维度汇总，明细数据千万 / 亿级 ❌ 不适合
• 维度不固定、动态随机筛选的即席查询
• 基表写入极频繁、实时性要求毫秒级（刷新存在微小延迟）
• 维度基数极高、聚合后数据量几乎无缩减（无收益）

---

二、物化视图核心语法

1. 创建语法

CREATE MATERIALIZED VIEW [IF NOT EXISTS] mv_name
[COMMENT "注释"]
[PARTITION BY 分区字段]
[DISTRIBUTED BY HASH(分桶字段) BUCKETS N]
[PROPERTIES (
    "storage_medium" = "HDD",
    "storage_cooldown_time" = "2026-12-31 00:00:00",
    "refresh_interval_sec" = "300"  -- 定时刷新（异步MV专用）
)]
AS
-- 预计算聚合SQL，仅支持基表单表聚合，不支持JOIN
SELECT 
    维度列1, 维度列2,
    SUM(金额) AS total_amount,
    COUNT(DISTINCT 门店ID) AS distinct_shop_cnt,
    AVG(金额) AS avg_amount,
    MAX(金额) AS max_amount
FROM base_table
GROUP BY 维度列1, 维度列2;

2. 常用管理 SQL

-- 查看当前库所有物化视图
SHOW MATERIALIZED VIEWS;

-- 查看物化视图建表语句
SHOW CREATE MATERIALIZED VIEW mv_name;

-- 删除物化视图
DROP MATERIALIZED VIEW IF EXISTS mv_name;

-- 手动触发刷新（同步MV一般自动刷新，异步定时MV可手动刷新）
REFRESH MATERIALIZED VIEW mv_name;

-- 查询物化视图底层存储数据（不推荐业务直查，交给优化器自动匹配）
SELECT * FROM mv_name;

3. 两种刷新模式

（1）同步物化视图（默认，主流使用）

• 机制：基表每一批次导入完成，同步增量刷新 MV，数据强一致；
• 优点：基表写入后查询立刻看到聚合结果，无延迟；
• 限制：大批量导入会轻微增加写入耗时；
• 使用：创建时不配置 refresh_interval_sec 即为同步 MV。

（2）异步定时物化视图

• 机制：后台定时任务周期刷新，支持自定义刷新间隔（单位秒）；
• 优点：写入无性能损耗，适合 T+1 报表、对实时性要求低的场景；
• 缺点：数据存在窗口延迟；
• 使用：PROPERTIES ("refresh_interval_sec" = "300") 5 分钟刷新一次。

---

三、实战案例：基于 shop_sale 销售表创建物化视图

前置：基表 shop_sale（前文 Stream Load 测试表）

USE test;
CREATE TABLE IF NOT EXISTS shop_sale (
    shop_id INT COMMENT '门店ID',
    dt DATE COMMENT '销售日期',
    amount DECIMAL(10,2) COMMENT '销售额'
) ENGINE=OLAP
DUPLICATE KEY(shop_id)
DISTRIBUTED BY HASH(shop_id) BUCKETS 3
PROPERTIES ("replication_num" = "1");

业务高频查询：按日期 dt 分组，统计每日总销售额、门店数、平均单店销售额。

步骤 1：创建日维度聚合物化视图

CREATE MATERIALIZED VIEW mv_day_sale_stat
COMMENT "每日门店销售汇总物化视图"
DISTRIBUTED BY HASH(dt) BUCKETS 3
PROPERTIES ("replication_num" = "1")
AS
SELECT
    dt,
    SUM(amount) AS day_total_amount,
    COUNT(DISTINCT shop_id) AS day_distinct_shop,
    AVG(amount) AS day_avg_amount,
    MAX(amount) AS day_max_amount
FROM shop_sale
GROUP BY dt;

步骤 2：验证物化视图创建状态

SHOW MATERIALIZED VIEWS;

输出结果中 State 字段为 NORMAL 代表构建完成。

步骤 3：普通查询，自动命中物化视图（透明优化）

业务原始 SQL（无需改动）

-- 用户只写明细聚合查询，优化器自动走mv_day_sale_stat，不扫描明细
SELECT
    dt,
    SUM(amount) as total,
    COUNT(DISTINCT shop_id) as shop_cnt
FROM shop_sale
GROUP BY dt;

验证是否命中 MV：EXPLAIN 查看执行计划

EXPLAIN SELECT
    dt,
    SUM(amount) as total,
    COUNT(DISTINCT shop_id) as shop_cnt
FROM shop_sale
GROUP BY dt;

执行计划中出现 SCAN MATERIALIZED VIEW mv_day_sale_stat，代表命中成功。

步骤 4：导入新数据，自动同步刷新

执行前文 Stream Load 导入新销售数据，直接执行分组查询，可查到最新汇总值，无需手动刷新 MV。

---

四、多维度物化视图叠加场景

一张基表可创建多个物化视图，适配不同维度报表：

1. 按日期 dt 聚合（日报表）
2. 按 shop_id 门店聚合（门店趋势报表）

CREATE MATERIALIZED VIEW mv_shop_sale_stat
COMMENT "单门店全周期销售汇总"
DISTRIBUTED BY HASH(shop_id) BUCKETS 3
PROPERTIES ("replication_num" = "1")
AS
SELECT
    shop_id,
    SUM(amount) AS shop_total_amount,
    MIN(dt) AS first_sale_dt,
    MAX(dt) AS last_sale_dt
FROM shop_sale
GROUP BY shop_id;

查询门店总销售额时，优化器自动匹配 mv_shop_sale_stat。

---

五、核心底层原理：查询匹配规则

Doris CBO 优化器自动匹配物化视图，满足以下条件才会路由 MV：

1. 维度匹配：SQL GROUP BY 字段是 MV GROUP BY 字段的子集；
2. 聚合函数匹配：SQL 使用的聚合函数在 MV 中提前计算完成；
   • 例：MV 预计算 SUM(amount)，业务 SQL SUM(amount)、SUM(amount)*100、SUM(amount)+100 均可匹配；
3. 过滤条件兼容：WHERE 筛选字段必须是 MV 分组维度（不能过滤未预聚合的明细字段）；
4. 列裁剪兼容：查询仅使用 MV 中存在的维度、聚合字段。

匹配失败常见原因

1. GROUP BY 维度超出 MV 预计算维度；
2. 使用 MV 未预计算的聚合函数（如 MV 只有 SUM，业务用 STDDEV 标准差）；
3. WHERE 过滤明细字段（如WHERE amount>1000，amount 未作为分组字段）；
4. 基表存在 JOIN（物化视图仅支持单表构建）。

---

六、生产环境调优 & 避坑指南

1. 存储与分桶优化

1. MV 分桶字段尽量与业务高频 GROUP BY 字段一致，减少跨桶聚合；
2. 大分区表 MV 建议配置 PARTITION BY 继承基表分区，分区裁剪生效；
3. 冷数据 MV 配置 storage_cooldown_time 自动下沉至 HDD，节省 SSD 空间。

2. 写入性能平衡

1. 单张基表 MV 数量建议≤3 个，过多同步 MV 会增加导入耗时；
2. 超高并发写入场景，改用异步定时 MV关闭同步刷新损耗；
3. 批量大导入（批量 Insert）后，等待 MV 构建完成再执行查询。

3. 高频报错 & 解决方案

报错 1：CREATE MV 提示聚合不支持 JOIN

原因：物化视图仅支持单表聚合，不能关联多表； 解决：先通过 ETL 将宽表明细落地单表，再构建 MV；复杂多表聚合改用外部调度预计算宽表。

报错 2：查询 EXPLAIN 始终扫描明细，不命中 MV

排查步骤：

1. 核对 GROUP BY 维度、聚合函数是否完全匹配 MV 定义；
2. WHERE 条件是否过滤明细非维度字段；
3. 执行 SHOW MATERIALIZED VIEWS 确认 MV 状态 = NORMAL（BUILDING 构建中无法命中）；
4. 字段大小写、别名不影响匹配，底层字段名一致即可。

报错 3：基表删除字段，MV 构建失败

原因：MV 依赖基表字段，基表 DDL 变更会导致 MV 失效； 解决：先 DROP MATERIALIZED VIEW，修改基表结构后重建 MV。

报错 4：同步 MV 大批量导入超时

解决：

1. 拆分导入文件，分批 Stream Load；
2. 切换为异步定时 MV；
3. 调大 BE load_process_thread_num 导入线程数。

4. 资源开销控制

1. MV 本质是额外存储副本，存储容量预估：明细存储量 × MV 数量；
2. 低内存机器（4G 以内）减少 MV 数量，避免导入 + MV 同步触发 MEM_LIMIT_EXCEEDED；
3. 定期删除长期无用的物化视图，释放 BE 磁盘、内存资源。

---

七、物化视图 VS 手动预聚合宽表

对比项	物化视图 MV	定时 ETL 预聚合宽表
数据一致性	同步 MV 强实时，写入即更新	T+1 / 分钟级延迟
业务侵入	零改动，SQL 自动路由	需改写查询指向宽表
维护成本	自动同步，无需定时任务	依赖调度（Airflow/DolphinScheduler）
写入性能	同步模式轻微损耗	明细写入无损耗，后置聚合消耗集群资源
灵活度	匹配规则限制，仅支持单表聚合	支持多表 JOIN、复杂逻辑，无限制

选型建议

• 实时报表、单表固定维度聚合 → 优先物化视图；
• 多表关联、复杂逻辑、T+1 离线报表 → 定时 ETL 预聚合宽表。

---

八、总结

1. 物化视图是 Doris 原生查询加速核心能力，核心解决分组聚合报表慢查询问题；
2. 同步 MV 满足实时汇总需求，异步 MV 适合低实时、高吞吐写入场景；
3. 使用核心要点：单表构建、维度匹配、控制 MV 数量平衡写入性能；
4. 排查慢查询优先用 EXPLAIN 验证是否命中物化视图，未命中则调整 MV 定义适配业务 SQL。