利用零拍摄昼夜域自适应增强目标检测（Boosting Object Detection with Zero-Shot Day-Night Domain Adaptation）

2301_78173237

241人浏览 · 2026-06-01 16:39:53

2301_78173237 · 2026-06-01 16:39:53 发布

摘要

在低光照场景中检测物体是一个持续的挑战，因为在光照良好的数据上训练的检测器由于低可见度而在低光照数据上表现出显著的性能下降。以前的方法通过探索具有真实的低光照图像数据集的图像增强或物体检测技术来缓解这个问题。然而，该进展受到关于收集和注释低光图像的固有困难的阻碍。为了应对这一挑战，我们提出了一种基于零拍摄昼夜域自适应的微光目标检测方法，其目的是将检测器从光照良好的场景推广到微光场景，而不需要真实的微光数据。在微光视觉中重新审视Retinex理论，我们首先设计了一个反射率表示学习模块，通过精心设计的光照不变性增强策略来学习图像中基于Retinex的光照不变性。接下来，一个重新分解的过程相干过程被引入以通过执行两个顺序图像分解来改进香草Retinex图像分解过程，在ExDark、DARK FACE和CODaN数据集上的大量实验表明，我们的方法具有很强的弱光泛化能力。

为了减少对真实世界低光数据的需求，我们建议使用零拍摄昼夜域自适应来增强低光目标检测。本文的贡献有三个方面：

（1）在已有目标检测器的基础上，引入反射率表示学习模块，以增强目标检测器的光照不变性，并设计了光照不变性强化策略来强化学习过程。

（2）我们提出了一种“交换-重分解-一致性”流程，以改进基础图像分解过程。引入了重分解一致性损失，以保持序列中各分解反射率之间的一致性。

（3）我们对ExDark进行了大量的实验，用于一般对象检测，DARK FACE用于人脸检测，CODaN用于图像分类。实验结果表明，我们的方法在多种设置下都优于现有技术。

1、数据集和代码

1.1 代码链接

GitHub - ZPDu/DAI-Net: [CVPR 2024] Boosting Object Detection with Zero-Shot Day-Night Domain Adaptation · GitHub

1.2 数据集

我们选择WIDER FACE [75]和COCO 2017 [30]作为两个独立的光照良好的源域，其中包含超过100 K和30 K的图像，分别。我们在包含大约10 K图像的目标域DARK FACE上测试训练模型。

2、要解决的问题

2.1 低光照图像存在的问题

在因黑暗环境、光照不足和曝光时间等因素导致的低光图像上，这些方法会遭遇严重的性能下降。低光图像中出现的低可见度、色彩失真和噪声等问题会阻碍目标检测器的准确性。为应对这一挑战，通常会研究图像增强方法以提升低光环境下的场景可见度。目标检测器可通过使用增强后的图像进行重新训练或测试来受益。另一种方法是将基于光照充足图像训练的检测器，针对低光图像进行微调。

2.2 现有方法的局限性

尽管现有的图像增强方法看似有效，但它们依赖于从现实世界中收集的大量低光图像。其中许多方法必须使用成对的低光和充足光照图像进行训练。另一方面，对于暗物体检测方法，利用低光图像也是必要的。与光照良好的数据相比，现有基准中的低光图像数量要少得多，且采集场景也有限。同时，由于能见度低，在低光图像中标注边界框也是不可取的。例如，WIDER FACE 数据集包含 32,203 张图像和 393,703 张标注人脸，而 DARK FACE 数据集仅有 10,000 张图像和 81,560 张人脸。这些在采集和标注低光数据方面遇到的困难，阻碍了低光图像增强与目标检测技术的发展。我们意识到弱光场景是我们在这个问题中的泛化目标。

3、提出的创新点

在本文中，我们介绍了一种用于低光目标检测的新型DArk-Illuminated Network，称为DAI-Net。给定来自源域的光照良好的图像，我们首先利用物理启发的低光照合成流水线来生成合成的低光照图像并与原始光照良好的图像形成对。接下来，我们通过将低光图像分解为域不变，重新审视了低水平视觉中的Retinex理论，以用于高水平检测任务（即图像反射率）和特定域（即，图像照明）信息，其中仅应保留前者以学习可推广的检测器。我们的框架建立在一个既定的目标检测管道上，（例如DSFD [29]，YOLOv 3 [54]），并提出了一个反射率表示学习模块作为额外的解码器。该模块解码来自光照良好的图像和合成低照度图像的反射率相关光照不变信息。它是用预训练的Retinex分解网络产生的伪地面实况进行优化的（例如RetinexNet [69]），并使用专门设计的照明不变性增强策略进行增强。接下来，针对Retinex图像分解过程的不足，设计了一种新的分解-再分解-相干过程，通过将分解后的亮/暗图像进行互换，依次进行两次图像分解。通过引入再分解相干损失，提高了两种分解方法得到的反射率的一致性，使得学习得到的反射率表示稳定、准确。

3.1 概述

我们利用光照充足的图像训练一个目标检测器，并将其泛化到低光照图像上。参照，这是一个从光照充足的源域到低光照目标域的零样本昼夜域适应（ZSDA）问题。导致这两个域之间存在差异的主要因素包括光照条件以及光照退化带来的图像失真[4]。

为了解决这个问题，我们专注于从源域获取可以超越目标域的域不变表示。这被特别解释为学习照明不变信息，即反射率表示，在CFDA设置中。我们在图2中说明了所提出的框架。在训练期间，该框架由建议的暗房照明网络组成（图2中的绿色和黄色块）和预训练的Retinex分解网络（图2中的灰色块）。两个网络的输入是相同的，这是由物理启发的低光退化合成流水线合成的一对光照良好的源域图像及其低光对应，在图2中称为暗ISP。暗ISP是一种非深度方法，仅用于创建成对输入以训练我们的框架。值得注意的是，直接在合成低光图像上训练检测器会导致比在welllit图像上训练更差的结果（见第4.4节）。建议的Dark照明网络（DAI-Net）建立在已建立的物体探测器上，并带有一个用于反射率表示学习的附加解码器（第3.2节）。利用预训练的Retinex分解网络来为该解码器提供伪地面真值。（第3.3节），以进一步加强反射率表示学习。

图2.我们的方法的结构概述：我们将一幅光照良好的图像和它对应的合成低光照图像作为一对输入到我们的框架中。预训练的Retinex分解网络，如底部的灰色块所示，被冻结，仅在训练期间用于推断反射率和光照伪地面真值R l，R n，L l，L n，以监督反射率解码器具体地，照明伪地面实况和第一轮反射率预测Rl 1、Rn 1被转发到右块上的所提出的重建-重新分解相干过程中，以用于重建和重新分解第二轮反射率预测Rl 2、Rn 2、Rn 3和Rn 4。以及计算再分解相干损失Lrc（第3.3节）。推断与我们的方法所建立的原始检测器相同，表示为绿色块。

3.2 学习基于视网膜的反射率表示

我们首先回顾Retinex理论，图像I可以分解为反射率R和照度L，I = R · L。该理论假定图像的可见性受照度影响，而反射率保持不变。有时由照度变化引起的损坏也被联合建模，尽管为了方便我们简单地将它们称为照明的一部分（第4.3节）。对于使用ARMDA的目标检测，我们将反射率视为照明不变的对应物，反射率知识的获取在实现照明不变检测器中变得有用。为此，我们设计了一个反射率表征学习模块来增强探测器对弱光效应的适应能力。

考虑到图像分解是一个较低层次的视觉任务，我们在第二Conv层将检测器主干进行分裂，将主干的前部表示为 $g_{f}$ ，将整个主干表示为 $g_{b}$ 。 $g_{f}$ 的输出，即特征F，编码了由浅层提取的低层次信息，适合于解码反射率。我们在gf之后分支出反射率解码器，如图2中的黄色块所示。解码器是由两个Conv+ReLU层组成的光模块。由于检测头与反射解码器共享 $g_{f}$ ，所提取的照明-不变特征也有利于对象检测任务。请注意，我们发现使用对象检测动态学习图像分解是不稳定的，在某些情况下可能会失败。我们利用预训练的Retinex分解网络（详见第3.4节），以生成反射率和照明伪地面实况{R，L}，从而以更稳定的方式监督反射率解码器。

光照不变性增强。我们进一步引入了一种光照不变性增强方案，从特征层增强检测器的光照不变性。成对的光照良好的输入图像和合成的低光照输入图像之间的光照差异会导致不同的特征分布。但这两幅图像本质上具有相同的语义信息。由于我们的目标是学习光照不变性表示，我们要求从 $g_{f}$ 转发到反射率解码器的输出特征F在良好照明和低照明图像之间紧密对准。我们通过如下设计相互特征对准损失来显式地匹配从 $g_{f}$ 提取的良好照明和低照明特征 $F^{n}$ 和 $F^{l}$ ：

其中KL（·||·）是指KL发散， $F^{l}$ 和 $F^{n}$ 分别是来自 $g_{f}$ w.r.t.welllit和合成低光图像的平坦化和空间平均特征。

3.3 互换-再分解-相干

为了充分利用图像分解中产生的信息，我们提出了一种互换-重构-一致性流程，如图2右侧所示。首先，我们将光照充足图像与弱光图像的反射率进行互换，并按 $I_{2}^{l}= R_{1}^{n}\cdot L^{l}$ ， $I_{2}^{n}= R_{1}^{l}\cdot L^{n}$ 进行图像重建。重建后的图像可进行第二轮分解。由于我们的 DAI-Net 重点在于学习图像中与光照无关的部分（即反射率）。因此，我们引入再分解相干损失：

与vanilla惩罚损失相比，Lrc包含了一个再分解过程，充分利用了反射率的可分解性。

3.4 训练网络

图像分解损失。我们通过图像分解损失进一步加强反射率学习。我们在L和R上应用代表性的分解损失Ldecom，如[69]。具体来说，损失是图像重建损失Lrecon，不变反射损失Lir和照明平滑损失Lsmooth的集成。Lrecon是让R · L重建输入图像I，具体来说，Il的Rl · L l和In的Rn · L n; Lsmooth和Lir在成对输入之间计算。Lir = M SE（Rl，Rn）+（1 − SSIM（Rl，Rn））以均方误差和结构相似性指数度量的组合的形式强制预测的良好光照反射率和弱光反射率相同[68]。因此，我们有

其中λsmooth、λir分别表示相应损失的损失重量。

DAI-Net的总目标函数可以表示为：

其中，λmfa是指等式1中的相互特征对齐损失的损失权重，λrc是指等式2中的再分解相干损失的损失权重。

4、结论与不足

本文研究了一种新的背景下的暗目标检测方法--零拍暗域泛化方法。我们提出了一种新的DArk-Illuminated Network（DAI-Net），用于从光照良好的源域中学习光照不变的特征表示。我们首先引入了一个反射率表示学习模块，用于从光照良好的图像中提取光照不变的特征表示。在该模块中，我们使用了一个基于反射率表示的学习模块，用于从光照良好的图像中提取光照不变的特征表示。设计了一个反射率解码分支和一个互特征对齐损失，以增强图像和特征两级的光照不变性.其次，我们通过设计一个连续分解-相干过程来改进Retinex图像分解过程.我们进行两次连续分解，在DARK FACE和ExDark上的实验验证了DAI-Net具有较强的暗域泛化能力。