简介：

时间：2024

期刊：《Journal of Applied Remote Sensing》

作者：Jiacheng Guo, Xuejun Liu ,* Shuo Zhang, Yong Yan , Yun Sha, and Yinan Jiang

摘要：

①提出了两阶段匹配点云注册网络（TSGM-net），一阶段图匹配中建立点组对应关系，二阶段图匹配建立对应点群中的点的对应关系

②设计DGTP模块，了解点云的本地图的特征表示，提高对本地特征的识别

③边缘由Transformer和引入的边缘阈值动态建立，图形注意力网络提取点云的全局特征，以考虑拓扑结构中相似特征之间的关系

④得分是从节点本身，局部和全局的三个维度计算得出的

创新点：

①提出了一种两阶段图匹配方法

②设计一个DGTP模块

③使用图形注意力网络提取全局特征，并将边缘阈值引入动态构建重要节点的边缘

④计算三个维度的分数

相关工作及问题制定：

对比以往的配准方法：

ICP算法及其变体：

①ICP算法通过迭代地寻找最近点对来计算点云之间的刚体变换

②为提高ICP算法的准确性，提出了点对平面和平面对平面方法，看作是广义ICP的特例

③ICP及其变体依赖于点云的初始位置，对配准精度产生较大影响

基于特征的配准方法：

①基于FPFH，通过选择新的点对来提高算法的准确性

②点特征直方图和快速点特征直方图通过计算点对之间的角度信息来构建特征描述符

③通过构建手工设计的特征描述符，匹配特征以获得对应关系，然后使用随机样本一致性等方法求解刚体变换，而不进行迭代。

基于学习的配准方法：

①使用神经网络学习特征描述符可以获得更鲁棒的特征对应关系

②3DMatch使用3D卷积网络学习几何特征描述符，全卷积几何特征使用稀疏3D卷积构建ResUNet架构来计算点云特征

③使用Transformer建立更全面的关联信息并学习点之间的相对位置

端到端的配准方法：

将配准视为回归问题，并使用双分支架构基于交互特征回归变换

描述：

点云配准定义：找到一个刚体变换使得两个点云可以对齐

步骤：

①对于三维空间中，规定两个点云，为源点云，为目标点云

其中为 中的第个点的坐标，为中第个点的坐标

②寻找最优刚性变换对齐两个点云和

③假设且与是一对对应点，最小化方程对齐两个点云：

④ 若，则选择个关键点进行点云配准，依然采用最小化方程

是从中的点到中的点的映射

方法：

将DGTP模块用于本地特征提取和图形注意网络进行全局特征提取

阶段①：图匹配建立点群之间的关系，在每个点群的图特征表示上进行，建立点群间对应关系

阶段②：基于点群与关键点特征的对应关系建立点群中点的对应关系 

动态图表：

步骤：

①输入，映射局部特征

②获取的局部特征 

③用DGTP模块提取局部特征（）的提取

④对于每个寻找最邻近的点，通过MLP建立与最近点之间的联系：

使用KNN求前n个点的最近邻居：

引入自注意力机制进一步考虑n个最近点的关系：

 其中、、为权重矩阵

动态构建局部完全图：

n个最近的点被用来当作节点构建：

 点之间的自注意力系数被用来作为局部图的软边连接矩阵：

⑤局部特征更新：

 ⑥局部节点特征：

 ⑦特征聚合取平均，作为的节点：

全局特征提取：

原因：

①局部特征未考虑每个点在整个点中的全局信息和拓扑结构

②不需要为所有点建立关系，这样会导致很高的代价

③在局部特征的基础上考虑点之间的拓扑结构和相关性，更有利于点云整体结构理解

步骤：

 ①特征相互独立，中的与中的，使用由仿射层、实例归一化和 Sinkhorn 组成的 AIS 模块来计算互相关权重：

②跨图卷积更新胡相关信息得到局部特征和：

 ：跨图卷积参数，用于线性变换

：将点云的原始特征和互相关特这个进行拼接

③使用Transformer学习点之间的相关性，对输入的和进行编码解码，得到和

④对 应用内积和softmax，得到点云的软边邻接矩阵：

引入进行操作：

引入注意力机制计算两个节点特征 和之间的注意力系数：

⑤利用激活函数计算与点有边缘关系的注意力系数，得到整个点云的软边邻接矩阵：

得到带有注意力权重的邻接矩阵 ：

动态构建全局不完全图：

 软边邻接矩阵及节点：

 由于引入边缘阈值，由图形网络的每个层构建的全局不完整图都不同。

关键点检测： 

关键点检测模块将选择三个分数中最大总和作为关键点的最大总和，并且仅计算两个点云中的关键点之间的对应关系。

局部得分：

全局得分：

最终得分：

选择关键点：

两阶段图匹配：

 第一阶段匹配：

采用最远点采样获取质心位置：

个点所对应的点云特征：

通过距离函数计算每个点到中心点的距离，并将点根据距离质心的位置划分点组：

利用图注意力网络对点组进行图特征提取，生成空间特征：

 结合点群原始特征和图注意力提取的特征生成新的空间特征：

利用均值聚合函数得到每个点群的图特征表示：

对点群进行第一阶段的图匹配，得到两个点云中点群之间的对应关系：

 第二阶段匹配：

基于一阶段点群对应关系，对点群中的点进行二阶段匹配

基于获取局部关系：

 并计算点对应的关系

重塑点群和特征：

计算旋转和平移矩阵：

总结：

 第一阶段图匹配可以将点云划分为多个点组，并建立两个点云之间点组的对应关系。 基于，第二阶段图匹配可以建立对应点群中的点之间的对应关系。

 损失函数：

 实验：

 验证不同设置对TSGM-Net的影响

干净点云上的配准结果的定性比较

 部分点云到部分点云的配准结果的定性比较