一次因闪回区空间耗尽导致的 DG 同步中断完整处理记录

一、故障现象

某日收到报警，Data Guard 备库同步中断。在主库查询归档目的地状态时发现如下错误：

sql

SELECT STATUS, ERROR FROM V$ARCHIVE_DEST_STATUS WHERE DEST_ID=2;

STATUS    ERROR
--------- ----------------------------------------------------------------
ERROR     ORA-16086: Redo data cannot be written to the standby redo log

同时在备库检查 Standby Redo Log 状态，发现所有日志组均处于 UNASSIGNED 状态：

sql

SELECT GROUP#, STATUS FROM V$STANDBY_LOG;

    GROUP# STATUS
---------- ----------
         4 UNASSIGNED
         5 UNASSIGNED
         6 UNASSIGNED
         7 UNASSIGNED

二、排查过程

2.1 初步检查

首先确认主库的归档日志是否正常产生：

SELECT SEQUENCE#, ARCHIVED, APPLIED, FIRST_TIME 
FROM V$ARCHIVED_LOG 
WHERE SEQUENCE# >= 16070 
ORDER BY SEQUENCE#;

结果显示主库日志正常归档，但备库缺少从 16070 开始的日志序列。

2.2 检查备库恢复进程

SELECT PROCESS, STATUS, SEQUENCE# FROM V$MANAGED_STANDBY;

PROCESS   STATUS          SEQUENCE#
--------- ------------    ----------
MRP0      WAIT_FOR_LOG    16070
RFS       IDLE            0

MRP0 进程正在等待 16070 日志，RFS 进程虽存在但处于空闲状态。

2.3 确认归档传输配置

SELECT DEST_ID, STATUS, DESTINATION, ARCHIVED_SEQ#, ERROR 
FROM V$ARCHIVE_DEST_STATUS 
WHERE DEST_ID=2;

   DEST_ID STATUS         ARCHIVED_SEQ# ERROR
---------- ------------   ------------- ------------------------------------
         2 ERROR          16068         ORA-16086: Redo data cannot be written 
                                         to the standby redo log

最后成功传输的日志序列为 16068，此后传输中断。

2.4 发现根本原因

检查备库闪回区使用情况：

SELECT * FROM V$FLASH_RECOVERY_AREA_USAGE;

FILE_TYPE          PERCENT_SPACE_USED
------------------ ------------------
ARCHIVED LOG       96.94
REDO LOG           2.93

-- 查看闪回区配置
SHOW PARAMETER DB_RECOVERY_FILE_DEST

NAME                                 VALUE
------------------------------------ ------------------------------
db_recovery_file_dest                /app/oracle/fast_recovery_area
db_recovery_file_dest_size           20G

结论：备库闪回区 20G 空间已耗尽（归档日志占用 96.94%），RFS 进程无法分配 Standby Redo Log，导致 DG 同步中断。

三、解决方案

3.1 清理归档日志释放空间

rman target /

RMAN> DELETE ARCHIVELOG ALL COMPLETED BEFORE 'SYSDATE-1';

3.2 验证空间释放

SELECT FILE_TYPE, PERCENT_SPACE_USED 
FROM V$FLASH_RECOVERY_AREA_USAGE 
WHERE FILE_TYPE = 'ARCHIVED LOG';

FILE_TYPE          PERCENT_SPACE_USED
------------------ ------------------
ARCHIVED LOG       45.00

3.3 重启日志应用

ALTER DATABASE RECOVER MANAGED STANDBY DATABASE CANCEL;
ALTER DATABASE RECOVER MANAGED STANDBY DATABASE USING CURRENT LOGFILE DISCONNECT FROM SESSION;

3.4 验证恢复

-- 检查 Standby Redo Log 状态
SELECT GROUP#, STATUS FROM V$STANDBY_LOG;

    GROUP# STATUS
---------- ----------
         4 ACTIVE
         5 CURRENT
         6 UNASSIGNED
         7 UNASSIGNED

-- 检查主库归档状态
SELECT DEST_ID, STATUS, ARCHIVED_SEQ#, ERROR 
FROM V$ARCHIVE_DEST_STATUS 
WHERE DEST_ID=2;

   DEST_ID STATUS         ARCHIVED_SEQ# ERROR
---------- ------------   ------------- ------------------------------------
         2 VALID          16105

DG 同步恢复正常。

四、长期优化措施

4.1 扩容闪回区

ALTER SYSTEM SET DB_RECOVERY_FILE_DEST_SIZE=50G SCOPE=BOTH;

4.2 配置自动清理策略

rman target /

-- 只有应用到所有备库的日志才能删除
CONFIGURE ARCHIVELOG DELETION POLICY TO APPLIED ON ALL STANDBY;

-- 保留最近 3 天的归档
CONFIGURE RETENTION POLICY TO RECOVERY WINDOW OF 3 DAYS;

4.3 设置监控告警

建议对 V$FLASH_RECOVERY_AREA_USAGE 中 PERCENT_SPACE_USED > 80 的情况设置告警。

五、故障总结

阶段	关键操作	所用命令/方法
问题定位	发现 ORA-16086 错误	V$ARCHIVE_DEST_STATUS
根因分析	发现闪回区空间不足	V$FLASH_RECOVERY_AREA_USAGE
故障恢复	清理归档日志 + 重启应用	DELETE ARCHIVELOG + RECOVER ... USING CURRENT LOGFILE
长期预防	扩容 + 配置自动清理	db_recovery_file_dest_size + RMAN 策略

核心经验：

1. 闪回区大小应根据归档生成速率合理规划，建议生产环境 50G 起步

2. 配置 RMAN 自动清理策略，避免空间耗尽

3. 定期监控闪回区使用率，设置 80% 阈值告警

4. UNASSIGNED 状态的 Standby Redo Log 通常指向空间或配置问题