GaussianFlowOcc: Sparse and Weakly Supervised Occupancy Estimation using Gaussian Splatting and Temporal Flow
原文链接：https://arxiv.org/abs/2502.17288v4

1. 问题定义和场景表达

3D占用预测的目标是基于当前帧$L$个视图的图像 I = { I i } i = 1 L I=\{I^i\}_{i=1}^L I={Ii}i=1L​估计自车周围的3D几何与语义。

与过去的方法使用语义体素表达不同，本文使用3D高斯分布表达3D场景。场景被定义为$N$个高斯 G = { G i } i = 1 N G=\{G_i\}_{i=1}^N G={Gi​}i=1N​，每个高斯包含一组属性：均值$\mu \in {\mathbb{R}}^3$、不透明度$o\in [0,1]$、尺寸$s\in {\mathbb{R}}^3$、旋转四元数$r\in {\mathbb{R}}^4$和语义分数$c\in {\mathbb{R}}^C$（$C$为语义类别数）。

本文训练一个模型$M(I)$估计3D高斯$G$。如果需要，可很容易地通过后处理将高斯表达转化为体素表达，从而与之前的方法进行比较。

2. 模型结构

1. 使用图像编码器提取图像特征$\hat{I}$，与高斯的初始位置和特征一起送入高斯Transformer。
2. 高斯Transformer迭代地使用与图像之间的交叉注意力、高斯之间的自注意力、与过去帧高斯之间的时间注意力，将初始高斯转化到其最终位置。
3. 高斯头估计剩下的高斯属性和语义。同时，时间模块计算每个高斯指向其时间邻居的3D流。
4. 最终的高斯与其时间偏移量被送入高斯溅射流程，渲染输入相机视角和时间相邻帧下的深度和语义图。
5. 模型使用渲染与真实深度/语义分割图直接的损失进行训练。

2.1 初始高斯

本文按照类似之前工作的查询初始化方法，初始化$N$个可学习高斯均值$G_{\mu }^0\in {\mathbb{R}}^{N\times 3}$和隐特征$G_f^0\in {\mathbb{R}}^{N\times D}$。其它属性不进行初始化，而是在高斯头使用隐特征进行预测。

2.2 图像编码器

使用预训练的图像主干ResNet50提取图像特征$\hat{I}$。

2.3 高斯Transformer

高斯Transformer包含$B$个块，每个块$b$包含以下小节所示的5个连续模块。

2.3.1 位置编码

上一个块的高斯均值$G_{\mu }^{b-1}$被MLP编码到隐维度$D$，随后与上一个块的高斯特征$G_f^{b-1}$相加。

2.3.2 高斯-图像交叉注意力

使用可变形交叉注意力，将当前高斯位置$G_{\mu }$根据相机参数投影到图像上，并在投影点周围采样一组图像特征，作为注意力的键与值。

2.3.3 诱导自注意力

标准的自注意力有二次时间和空间复杂度$O(N^2)$，限制了能处理的高斯数量。本文提出诱导自注意力（ISA），使得空间复杂度近似线性。如下图A所示，ISA使用两个通过瓶颈连接的注意力替代标准自注意力，引入$M$个可学习隐向量，称为诱导点$P\in {\mathbb{R}}^{M\times D}(M\ll N)$。这些诱导点从所有高斯聚合信息，得到瓶颈表达$H$。所有高斯会再次与诱导点交互，从而实现高斯与高斯之间的交互。其计算复杂度为$O(MN)$。完整过程可写为：
$$ISA(G_f)=MHA(G_f,H,H),H=MHA(P,G_f,G_f)$$其中$MHA(Q,K,V)$为标准多头自注意力（包含跳跃连接和FFN）。

2.3.4 诱导时间注意力

类似地，使用诱导时间注意力（ITA）促使时间信息在帧间进行高效传播，如上图B所示。首先使用诱导点$P$关注过去帧的高斯特征，计算瓶颈特征$Z$，随后将当前帧高斯特征与$Z$交互。记$G_f^{\prime }$为上一帧的最终高斯特征，ITA可表达为
$$ITA(G_f,G_f^{\prime })=MHA(G_f,Z,Z),Z=MHA(P,G_f^{\prime },G_f^{\prime })$$

2.3.5 高斯修正

该步骤用于更新高斯均值，以输入到下一个块。使用MLP（记为$Rect(G_f)$）估计残差，并添加到当前均值细化位置：$$G_{\mu }^{b+1}=G_{\mu }^b+\Delta G_{\mu }^b,\Delta G_{\mu }^b=Rect(G_f^b)$$

2.4 高斯头

高斯头使用一系列MLP头估计高斯剩下的属性。其中，不透明度$o$使用Sigmoid函数限制范围，且旋转四元数$r$被单位化。

3. 时间传播

收集过去帧的最终高斯均值，根据自车运动和预测的时间流移动到当前帧下，计算位置编码后与过去帧的最终高斯特征相加，得到用于ITA的过去帧的高斯特征$G_f^{\prime }$。

4. 高斯溅射监督

使用3D高斯表达场景，可在训练时利用高斯溅射高效渲染深度和语义图。使用预训练模型生成2D语义标签和深度真值，并用2D渲染损失训练模型（深度损失使用MSE损失，语义损失使用交叉熵损失）。这使得训练是弱监督的，不需要3D标注或额外传感器数据（如激光雷达）。

5. 时间高斯溅射

由于自动驾驶中的相机视锥重叠区域很小，学习深度和场景几何较为困难。本文引入时间高斯溅射，即对于时间视野$T$，使用$T$个过去帧和$T$个将来帧的标签和对应的相机参数。使用高斯溅射渲染所有时间相机视角下的深度和语义图，并计算相同的2D渲染损失。

但上述操作忽略了运动的物体，会导致监督信号的跨帧不一致。

6. 时间模块和高斯流

为解决上述问题，本文引入时间模块修正物体运动。通过估计每个高斯在$t\in [-T,T]$时刻的3D运动偏移量，可以将当前帧3D高斯与时间视野内所有帧对齐。

首先定义可学习时间token$\Psi \in {\mathbb{R}}^{2T\times D}$，每个表示一帧，并附加到对应帧来自高斯Transformer的高斯特征上。最后，使用MLP估计3D运动向量$v(t)\in {\mathbb{R}}^3$。

预测的偏移量会与高斯均值相加，将高斯转移到目标帧中的位置，随后进行高斯溅射。

时间模块与模型的其余部分一起训练，且仅使用渲染损失监督，而无需运动真值。

7. 体素化

为了与其余占用预测方法比较，需要将高斯表达转化为体素表达。对每个体素中心$p=(x,y,z)$，查询其所有的3D高斯分布值，并累积其不透明度和语义分数：
$$\begin{gathered} v_o(p;G)=\sum _{i=1}^P\exp (-\frac{1}{2}(p-{\mu }_i{)}^T{\Sigma }^{-1}(p-{\mu }_i))o_i \\ {v}_c(p;G)=\sum _{i=1}^P\exp (-\frac{1}{2}(p-{\mu }_i{)}^T{\Sigma }^{-1}(p-{\mu }_i))c_i \end{gathered}$$累积不透明度低于一定阈值的被分类为空体素；语义分数最大的语义类别被视为预测语义类别。

总结：

• 2D监督来源：本文方法无需3D标签，使用预训练模型从图像生成2D监督；
• 高斯初始化：本文使用类似查询初始化方法初始化高斯位置和特征；
• 2D监督视角：本文使用了相邻帧的视图进行监督，渲染前每个高斯会根据预测的场景流移动。