无人机影像增量式运动恢复结构研究进展

　　摘要：增量式运动恢复结构(structure from motion, SfM)已经成为无人机影像空中三角测量的常用解决方案。考虑到无人机影像的特点，增量式 SfM 在效率、精度和稳健性方面的性能有待提高。首先给出了增量式 SfM 无人机影像空中三角测量的技术流程，然后从特征匹配和几何解算两个方面对其关键技术进行了综述，最后从数据采集方式改变、大场景影像处理、通信与硬件技术发展、深度学习融合等方向，展望了增量式 SfM 无人机影像空中三角测量的挑战和后续研究，总结本领域的现有研究，为相关研究者提供参考。

　　关键词：无人机影像;空中三角测量;运动恢复结构;特征匹配;深度学习

　　近年来，无人机已成为摄影测量领域的重要观测平台[1]。与卫星和航空摄影相比，无人机摄影测量具备高时效性、高灵活性和高分辨率的优势[2]。高时效性能够实现快速的任务执行，满足应急响应等需求;也能够进行高频率作业，实现对目标的连续观测。高灵活性可根据场景结构设计飞行航迹，满足复杂场景的安全数据采集需求。同时，采用贴近或优视摄影作业模式[3]，无人机可采集厘米级甚至毫米级的高分辨率影像，提升精细目标场景的观测能力。无人机摄影测量已在建筑物缺陷检测、输电线路巡检、精细化农业管理、文物遗产数字化等领域得到了广泛应用[4]。因为载荷能力或成本限制，无人机平台没有搭载高精度直接定位定向设备。无人机影像定位定向成为保障其应用的关键技术[5]。在摄影测量与遥感领域，空中三角测量(简称空三)技术已成功用于卫星和航空影像的定位定向。但是，依赖高精度定位定姿系统(positioning and orientation system， POS)提供精确的未知数初值，且要求数据采集按照规定的航线执行。这些因素极大地限制了摄影测量空三技术在数据采集无序、精确定位定向初值缺乏的无人机影像上的应用推广。由于不依赖未知数初值和具有较强的抗外点能力，增量式运动恢复结构(structure from motion，SfM)技术可以直接从重叠影像恢复相机的位置姿态和场景的结构信息，已成为当前无人机影像空三的常用解决方案[6]。

　　另外，增量式 SfM 技术可处理无序数据集，适应无人机影像的特点。鉴于上述因素，增量式 SfM 技术已广泛应用于商业和开源软件，包括Bentley ContextCapture、Agisoft Metashape 和 MicMac 等影像处理和三维建模软件。增量式 SfM 技术包括特征匹配和几何解算两个主要步骤，从两张种子影像开始，通过迭代定向和平差实现场景空三处理。尽管在摄影测量与计算机视觉领域，基于局部特征的影像匹配[7]和基于光束法平差的几何解算[8]已得到了深入研究和广泛应用。原始增量式SfM 技术用于处理小规模场景或者低分辨率影像，没有顾及无人机影像的特点，主要体现在：

　　(1)无人机影像具有高分辨率、高重叠度、大数据量等特点，导致特征匹配的计算量大。同时，大倾角摄影和重复纹理等因素影响，使得特征匹配存在很多错误匹配点，降低空三精度和稳健性。(2)几何解算需要迭代优化，即每增加一张或若干张影像进行局部或者全局光束法平差(bundle adjustment，BA)，导致增量式 SfM 迭代优化的效率随着影像数量增加而显著下降[9-10]。

　　随着无人机摄影测量的普及化和规模化应用，势必对基于增量式SfM 技术的无人机影像空三在效率、精度和稳健性方面提出更高要求[11]。当前，许多学者对增量式 SfM 无人机影像空三开展了大量工作。同时，深度学习技术也在摄影测量与计算机视觉几何处理领域得到了广泛研究，对于提升无人机影像空三的精度和可靠性具有巨大的应用潜力。基于上述考虑，本文首先对增量式 SfM 的特征匹配和几何解算关键技术进行了综述，然后展望了增量式 SfM 无人机影像空三的挑战和后续研究，旨在总结本领域的现有研究，为相关研究者提供参考。

　　1 无人机影像 SfM 流程

　　显示了无人机影像增量式 SfM 的技术流程，包括特征匹配和几何解算两个部分。特征匹配用于建立重叠影像的同名点对应关系，包括特征提取、特征匹配和粗差剔除。其中，特征提取主要利用局部特征，提取具有高重复性、高可区分性的关键点及其描述子，比如 SIFT(scale invariant feature transform)、SURF(speedup robust feature)等特征。

　　特征匹配基于描述子距离最近准则，利用最近邻搜索获取初始匹配点;粗差剔除则基于参数化或非参数化方法，剔除初始匹配中的错误匹配点。在获取特征匹配点后，几何解算则首先选择两张同名点数量足够多、分布均匀的种子影像，利用相对定向算法建立初始化模型;然后通过空间后方交会，增量式地解算其余影像的位置姿态和场景三维点，并迭代执行局部和全局 BA 提高影像空三精度和消除错误匹配。无人机影像增量式 SfM 现有研究也主要从特征匹配和几何解算两个方面开展。

　　2 无人机影像特征匹配

　　特征匹配的目的是建立两视或多视影像的同名点关系，是无人机影像 SfM 重建的基础。在摄影测量与计算机视觉领域，特征匹配已有几十年的研究历程。基于局部特征描述子的特征匹配已成为当前主流方法，该方法首先提取影像高显著性的点、线或者块状结构，并生成对应的高维描述子，然后基于描述子的最近距离准则建立影像对应关系。基于局部特征描述子的特征匹配方法主要包括特征提取、特征匹配和粗差剔除 3 个步骤。

　　2.1 特征提取特征

　　提取的目标是提取具有高重复性、高可区分性的特征点，并生成对应的特征描述子。其中，高重复性可以保证所提取的特征点能够在其他重叠影像中被检测到;高可区分性则保证所提取的特征点能够在其他重叠影像中被正确匹配到。已有的特征提取方法可以分为手工特征和深度学习特征。

　　1)手工特征手工特征提取方法包括早期的旋转不变 Harris 角点特征[12]，到最近的具有尺度、视角和光照不变性的 SIFT 特征[13]及其改进算法，比如基于仿射视角模拟的 ASIFT(affineSIFT)[14]、利用平方根代替欧式距离准则的 RootSIFT[15]。同时，为了适应资源受限平台的计算需求，有学者利用二进制描述子或者硬件加速，提出了计算效率更高的特征描述子，比如 SURF[16]、ORB(oriented FAST and rotated BRIEF)[17]、GPUSIFT[18]。在摄影测量与遥感领域，手工特征也得到了深入研究和广泛应用[19-21]。

　　为了实现大倾角无人机特征匹配，现有方法一方面提取特征点的局部仿射不变支撑邻域[22];另一方面利用无人机粗略 POS 进行影像整体纠正，以减少影像透视变形的影响[23-24]。为了实现高分辨率无人机影像特征匹配，现有研究通常利用粗略无人机 POS 信息或者降采样影像之间的单应矩阵，建立影像之间的几何对应关系，实现分块特征匹配策略，这类方法也常用于大幅面遥感影像[25-26]。

　　2)深度学习特征近年来，深度学习特征在摄影测量与计算机视觉领域得到了广泛关注。不同于手工特征的硬编码模式，深度学习从训练样本提取内在特征，并利用神经网络模型进行拟合[27]。大多数深度学习特征采用卷积神经网络(convolutional neural network，CNN)模型实现，可以分为分步特征提取描述网络和联合特征提取描述网络。

　　(1)分步特征提取描述网络。该类网络仅仅利用 CNN 模型学习特征提取方法所获取影像块的描述子。文献[28]提出了基于全卷积结构的 L2-Net 深度特征提取网络，利用渐进采样策略和对数似然估计损失函数实现模型训练。由于简洁的模型结构和优异的模型性能，L2-Net 成为后续多项深度特征学习网络的基础模型，包括基于三元边界损失的HardNet[29]、顾及几何约束的 GeoDesc[30]、考虑特征点空间关系的 ContextDesc[31]。

　　(2)联合特征提取描述网络。该类网络直接从影像提取特征点及其对应的描述子。这类网络模型采用端到端的结构进行设计，输入为原始或者降采样影像，输出为特征点和描述子。文献[32]提出的 LIFT(learned invariant feature transform)网络模型，模拟 SIFT 算法的特征提取、主方向计算和特征描述等步骤，是这类深度学习特征的早期尝试。

　　其他相关研究者从训练样本生成、极端场景条件等多个方面进行研究。为了解决特征检测网络训练样本不足的问题，文献[33]利用合成数据集，采用特征点自标注算法生成训练样本，提出特征点检测器自监督学习的 SuperPoint 网络模型。与常规的特征提取-特征描述步骤不同，文献[34]提出适用于极端条件下的特征提取网络模型 D2-Net，该模型首先生成特征图和特征描述子，然后基于特征图的高层信息提取可靠特征点。

　　与联合特征提取描述网络相比，分步特征提取描述网络在基于影像的三维重建中的应用更加广泛，主要原因在于这类模型可直接嵌入现有的三维重建流程，即从特征提取的影像块生成类似 SIFT 的 128 维描述子，并采用欧式距离最小化准则获得初始特征匹配[27-28]。图 2 显示了 RooSIFT 算法与深度学习模型进行特征提取的性能对比。其中，特征匹配均采用描述子欧式距离最近邻准则实现，括号中的数值分别代表内点数、初始匹配数和内点率。从实验结果可以看出，与 RootSIFT 算法相比，近年提出的深度学习模型性能逐步提高，并超过手工特征提取算法的性能。

　　2.2 特征匹配

　　匹配效率提升特征匹配通过描述子欧式距离最近准则建立初始匹配点。已有方法一般通过近似最近邻搜索算法(approximate nearest neighbor，ANN)[35]或者图形处理器(graphics processingunit，GPU)加速技术[18]提升特征匹配效率。由于高维特征描述子计算量大和无人机影像分辨率高、匹配对数量多等因素，特征匹配成为无人机摄影测量三维重建最耗时的步骤之一[36]。无人机影像特征匹配效率提升的方法主要分为 3 类：

　　(1)限制影像的特征点数量。其核心思想是选择有用的特征点参与匹配。文献[37]以尺度空间和影像空间的均匀分布为准则，选择分布均匀的特征点;文献[38]选择高层尺度空间的特征，并将其嵌入 VisualSfM 软件，实现线性时间复杂度的特征匹配;文献[39]则考虑特征描述子的信息量，选择更容易匹配的特征点。

　　(2)减少参与匹配的影像数量。其核心思想是从原始数据集中选择代表性的关键影像，进而减少后续匹配对的数量，实现特征匹配加速。现有方法分为基于影像聚类的方法[40-41]和基于影像拓扑连接图分析的方法[42-43]。前者从具有相同视角的影像聚类集合中选择一张代表性的影像，如文献[41]中的 iconic view;后者则将影像和匹配对表达为无向图结构，并从图结构中选择一个最小顶点子集，使得该顶点子集能够稳健重建，并且其他顶点存在至少一条与之连接的边。

　　(3)减少影像匹配对数量。其核心思想是减少不必要的匹配对，达到匹配加速的目的。这类方法往往是最直接、可靠的特征匹配加速方法。在不依赖其他辅助信息的情况下，影像匹配对选择可以依据降采样影像的匹配点数量[38]或者基于内容的影像检索(content-based image retrieval，CBIR)技术获得[44-45]。

　　对于无人机影像，机载 POS 数据可以提供辅助信息用于匹配对选择[46-47]。上述方法生成的影像匹配对依然包含很多冗余信息。影像拓扑连接图(topological connection network，TCN)首先被用于简化匹配对数量[48-49]，如文献[48]利用影像 POS 信息建立初始影像拓扑连接图;然后提取最小生成树，实现影像拓扑连接图的最简化;最后基于连接边扩展，建立航向旁向连接边，达到影像匹配对简化的目的。

　　与初始 TCN 图相比，影像匹配对数量显著减少。深度学习技术近年来，深度学习技术也被用于特征匹配，取代描述子最近邻搜索策略。现有深度学习网络模型采用全连接神经网络作为匹配判别层，并与特征提取层组成端到端的特征匹配网络。匹配判别层和特征提取层组成了深度学习特征匹配的网络模型，即联合特征测度学习网络。特征匹配网络通常采用孪生结构或者三分支结构。

　　文献[50]设计了基于孪生结构的 MatchNet 网络，包含一个多层 CNN 组成的特征描述子生成子模块和一个三层全连接子模块组成的描述子相似性计算子模块;文献[51]对比了 5 种特征匹配神经网络模型，即双通道网络、孪生网络、伪孪生网络、中心环绕-双流网络，以及空间金字塔池化网络。除了网络结构设计，训练样本采样策略对深度学习模型的性能有显著影响。文献[52]提出渐进采样策略，选择较难匹配的正负样本。该采样策略可以提高模型的判别能力，加速模型训练速度，也被其他相关研究所采用[29]。

　　2.3 粗差剔除由于局部描述子有限的可区分性和遮挡、重复纹理等因素影响，基于最近邻搜索的初始特征匹配不可避免地包含错误匹配点，粗差剔除成为高精度特征匹配的关键步骤。现有粗差剔除方法可以分为参数化方法、非参数化方法和深度学习方法。

　　3 无人机影像

　　几何解算摄影测量平差假定数据采集航线规范、未知数理想初值已知。考虑到无人机影像的无序性和未知数初值不确定，运动恢复结构 SfM 成为无人机影像空三的标准解决方案。SfM技术来源于计算机多视几何领域，其目标是为恢复重叠影像位姿和场景结构信息。SfM 的优势主要体现在两个方面：(1)不依赖未知数初值，直接从重叠影像估计;(2)不对数据采集标准过度要求，能够适应无序数据集。

　　4 结语

　　本文对增量式 SfM 的特征匹配和几何解算关键技术进行了综述。现有研究极大地推动了增量式 SfM 朝着高效率、高精度和高稳健的方向发展，同时也促进了包括 AliceVision、COLMAP、MetaShape 和 Pix4DMapper 等开源和商业软件系统的不断完善。当前，在摄影测量与计算机视觉领域，增量式 SfM 无人机影像空三的研究热情依然不减。考虑到数据采集方式改变、大场景数据处理、通信与硬件技术发展、以及深度学习融合等因素，增量式SfM 无人机影像空三面临新的挑战和发展。本文从以下几个方面进行研究展望：

　　(1)针对几何感知的数据采集方式，如何实现高效、高精度的影像匹配，是提高增量式 SfM 无人机影像空三效率和精度的基础。近年来，几何感知无人机航迹规划方式得到了广泛关注，如贴近或优视摄影测量[3]。但是，由于飞行高度低和大倾角摄影造成的遮挡严重、透视畸变问题，导致同名点的匹配难度大。现有研究通常利用无人机平台的粗略 POS整体纠正影像，这类方法以减少特征数量和额外计算量为代价，很难满足大场景无人机影像高效特征匹配需求。同时，无序影像的穷举匹配极大地降低了影像匹配效率。

　　基于内容的图像检索 CBIR 利用图像特征进行相似影像搜索，成为开源 SfM 系统特征匹配加速的重要模块。对于无人机影像，则要从检索精度和检索效率两方面进行平衡：如果利用公开数据集训练词汇库，则会降低检索精度;如果用无人机影像本身训练，则会造成高计算代价。高效影像检索和稳健特征匹配是增量式 SfM 无人机影像空三的基础。

　　(2)针对大场景影像数据处理，如何加速 BA 优化效率和避免 SfM 顺序性约束，是提高无人机影像空三效率和稳健性的核心。增量式 SfM 依赖迭代的局部和全局 BA 优化，以减少误差累计和提高位姿解算精度。为了提高 BA 优化效率，现有方法通常从硬件加速技术、简化和优化平差模型等方面改进，但依然无法满足大场景数据处理需求。尽管硬件加速是提升 BA 效率最直接的方式，但是严重依赖所使用的硬件配置条件，有时无法满足实际应用的硬件条件。

　　平差模型简化和优化方法能够减少未知数数量，但是其加速上限十分有限，且依赖特定的数据采集设备。近年来，基于分块-合并策略的并行增量式 SfM 技术将大场景分割为紧凑的小场景，结合分布式并行计算技术，可打破顺序性约束。尽管在处理大场景影像数据方面受到广泛关注，但是模型合并仍是其难点。

　　(3)联合深度学习技术的增量式 SfM 无人机影像空三技术框架。当前，深度学习已在图像语义信息提取方面得到广泛应用。联合图像语义信息的摄影测量几何处理也已成为新的研究热点[90]。

　　一方面，深度学习技术可以直接获取几何处理所需的特征信息，增强手工特征的判别能力;另一方面，经典几何处理方法具有更高的精度，可以密集深度学习技术的不足。从影像特征匹配方面看，联合特征提取描述网络需对原始影像进行降采样，导致特征点仅有像素级定位精度[91-92]。

　　结合高精度的手工特征提取算法和高可区分性的深度学习特征描述网络，则可得到精度和可区分性增强的特征描述子。因此，联合深度学习技术的优势，对特征提取、特征匹配、粗差剔除、几何解算等环节进行优化，可以进一步提升增量式 SfM 无人机影像空三的整体性能。

　　(4)针对灾害应急、突发事件监测等时效性敏感应用，如何实现机上实时数据处理是进一步扩展无人机摄影测量应用的重要途径。当前，无人机摄影测量应用主要采用在线数据采集和离线数据处理模式，主要原因在于无人机平台有限的计算能力和数据传输带宽。

　　无人机论文范例：浅谈无人机遥感测绘技术在露天矿山测绘中的应用前景

　　随着移动计算设备和通信技术的发展，无人机机上实时或准实时的数据处理和信息传输将会得到进一步发展，如英伟达 Jetson 高性能人工智能边缘计算、基于 5G 通讯技术的快速数据传输。同时，机器人导航与自动驾驶领域利用同时定位与制图技术(simultaneouslocalization and mapping，SLAM)实现未知场景下的环境探索[93]和自主导航。这些技术会进一步提升无人机系统的智能化水平，扩展无人机摄影测量应用。因此，面向机上实时/准实时的信息提取将会成为一个重要需求。

　　参考文献：

　　[1]Li Deren, Li Ming. Research Advance and Application Prospect of Unmanned Aerial Vehicle RemoteSensing System[J]. Geomatics and Information Science of Wuhan University, 2014, 39(5): 505-513 (李德仁, 李明. 无人机遥感系统的研究进展与应用前景[J]. 武汉大学学报·信息科学版,2014, 39(5): 505-513)

　　[2] Colomina I, Molina P. Unmanned Aerial Systems for Photogrammetry and Remote Sensing: AReview[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 92: 79-97

　　[3] Zhou X H, Xie K, Huang K, et al. Offsite Aerial Path Planning for Efficient Urban SceneReconstruction[J]. ACM Transactions on Graphics, 2020, 39(6): 192

　　[4] Jiang S, Jiang W S, Wang L Z. Unmanned Aerial Vehicle-Based Photogrammetric 3D Mapping: ASurvey of Techniques, Applications, and Challenges[J]. IEEE Geoscience and Remote SensingMagazine, 2248, PP(99): 2-38

　　[5] Jiang San, Xu Zhihai, Zhang Feng, et al. Solution for Efficient SfM Reconstruction of ObliqueUAV Images[J]. Geomatics and Information Science of Wuhan University, 2019, 44(8): 1153-1161(姜三, 许志海, 张峰, 等. 面向无人机倾斜影像的高效 SfM 重建方案[J]. 武汉大学学报·信息科学版, 2019, 44(8): 1153-1161)

　　作者：姜三 1,2，陈武 2，李清泉 3，江万寿 4