您的当前位置:首页正文

基于SIFT的遥感图像配准技术综述

2021-02-12 来源:榕意旅游网
2016年06月 REMOTE SENSING FOR LAND&RESOURCES doi:10.6046/gtzyyg.2016.02.03 引用格式:李孚煜,叶发茂.基于SIFT的遥感图像配准技术综述[J1.国土资源遥感,2016,28(2):14—20.(Li F Y,Ye F M. Summarization of SITF—based remote sensing image registration techniques[J].Remote Sensing for Land and Resources,2016,28 (2):14—20.) 基于SIFT的遥感图像配准技术综述 李孚煜,叶发茂 (南昌大学计算机科学与技术系,南昌 330031) 摘要:遥感图像配准是图像融合、变化检测、图像镶嵌等应用中不可缺少的步骤。近年来,出现了大量基于尺度不 变特征变换(scale invariant feature transform,SIFT)的遥感图像配准方法。在对已有基于SIFT的遥感图像配准文献 的调研分析基础上,对各种SITF遥感图像配准技术进行了系统性评述,将各种改进方法分为SITF提升算法、针对 遥感图像性质的改进、混合方法以及针对算法流程的改进等4类;分析了不同类型改进方法的适用范围和优缺点; 指出了SIFT遥感图像配准技术存在的主要问题和难点,对其未来的发展方向进行了展望,为后续研究提供参考。 关键词:尺度不变特征变换(SITF);遥感图像;图像配准;特征提取 中图法分类号:TP 79文献标志码:A 文章编号:1001—070X(2016)02—0014—07 0 引言 1 SIFT图像配准 图像配准是对同一场景从不同视角、用不同传 SIFT算法主要用于描述与检测图像中的局部 感器获取的,有重叠区域的2景图像进行几何配准 性特征,它在空问尺度中寻找极值点,并提取出其位 的过程¨』。在遥感图像的实际应用中,配准是图像 置、尺度和旋转不变量。该算法由Lowe在1999年 融合、目标变化检测、地物识别以及图像镶嵌过程中 提出 J,2004年完善 J。SITF遥感图像配准的基本 必不可少的步骤。近年来,基于图像特征的配准方 步骤 包括:①特征提取;②特征匹配;③配准模 法得到了较快的发展,其中尺度不变特征(scale in. 型确定;④图像重采样。具体流程见图1。 variant features,SIF)是图像特征中一种重要特征; 尺度不变特征变换(scale invariant features transform, … SIFT)是Lowe 在总结现有基于不变量技术的特征 特秆 检测算法基础上提出的一种基于尺度空间对图像缩 璧 L— 回匪 L— ; 放、平移、旋转、仿射变换、视角变换和光照变换保持 童J生成局部描述提取出 一……一 …子…l I…生成…局一t…部描述…子 『j 不变的特征提取算法。由于其匹配能力强,,…根据描述子相似性进行匹配 的特征稳定,所以从各种图像局部不变特征描述子 特征 (discripter)中脱颖而出 ,近年来在遥感图配准 匹配 对匹配对比值提纯 …………领域得到了越来越多的应用。本文对SIFT遥感图 寸…………一 像配准技术的研究情况进行了系统评述。首先简单 RANSAC ̄方法剔除离群匹配对 + 描述了一般性的SIFT图像配准方法;然后介绍了 配准模型的确定(参数估计) 为提高遥感图像配准的准确度近年对SITF提出的 一些改进算法,并分析了各种改进算法的适用范围 和优缺点;最后总结了SIFT遥感图像配准技术目 ①RANSAC为随机抽样一致性(random sample consensus)算法。 前存在的主要问题和缺陷,并对其未来的发展方向 图1基于SIFT的图像配准流程图 进行了展望。 Fig.1 Flowchart of SⅡ1T—based image registration 收稿日期:2014—12—17;修订日期:2015—03—18 基金项目:国家自然科学基金项目“基于人工禁忌免疫原理的多源遥感图像自动配准研究”(编号:41261091)资助。 第2期 李孚煜,等: 基于SIFT的遥感图像配准技术综述 其中特征提取及特征匹配主要包括关键点检 测、局部特征描述子生成和特征点匹配。 1.1关键点检测 SIFT算法是基于点的匹配算法,所以首先要找 出具有代表性和稳定性的关键点。SIFT算法关键 点检测的目的就是在图像的尺度空间中找出对图像 缩放、旋转以及一定程度的噪声保持不变的点的精 确位置,并对这些点进行筛选,为后续处理搜集足够 多的信息。SITF的关键点检测分为以下4个步骤: 1)生成高斯差(difference of Gaussians,DoG)尺 度空间。图像的尺度空间L( ,Y, )由一个变尺度 的高斯函数G( ,Y,or)和图像,( ,Y)卷积得到,即 L( ,Y, ):G( ,Y,ro):l=,( ,Y), (1) 1 一r…2 2、 式中:G( ,Y, )= e ; 为尺度参数; 盯or 为卷积运算符。 如果把or看成是尺度变量,那么在尺度空间 中,不同or的G( ,Y,or)就组成一个组(Octave)。 DoG响应值图像D( ,Y, )由2个相邻高斯尺度空 间的图像相减得到。实际算法中,DoG通过构建图 像金字塔来实现,即将图像金字塔分成O组,每组s 层,下一组的图像由上一组图像隔点降采样取得。 将每组上下相邻2层的高斯尺度空间的图像相减, 得到DoG。 2)寻找尺度空间中的局部极值点作为候选关 键点。每个检测点都跟与其同尺度的8个相邻点以 及上下相邻尺度的9个点(共8+9 X 2=26个点) 进行比较,只保留局部极值点。这样得到的局部极 值点即为粗略特征点。 3)精化关键点检测结果。通过子像元插值得 到特征点的精确尺度,删除受边缘效应影响较大的 点,通过子像元插值和去边缘效应,精化关键点检测 结果。 4)生成关键点的主方向。根据关键点所在的 尺度选取邻域,在该邻域内分36个方向统计所有点 的梯度方向,取方向统计直方图中主峰的对应方向 为主方向。若存在相当于主峰80%以上的方向,则 将这些方向取为辅方向。每个关键点只有一个主方 向,大约20%的关键点有1个或多个辅方向。每个 探测到的关键点都包括位置信息、所在尺度及主方 向信息,可以用1个4维向量来描述。 1.2局部特征描述子生成 得到在尺度空间中对图像缩放、旋转保持不变 的关键点之后,SITF为每一个关键点的主方向和每 个辅方向生成一个描述子,并让这些描述子拥有尽 可能多的不变性: 1)根据关键点所在尺度,选择相应大小的邻 域,分为4×4个子区域,每个子区域有4像元X4 像元。以主方向为基准对齐后,对每个子区域的梯 度方向进行统计,形成8个方向的直方图。因存在 4 X4个子区域,每个子区域的梯度直方图有8个方 向,故SIFT特征矢量有4×4×8=128维。由于直 方图只有局部小区域的灰度统计信息,而仿射变换 对灰度频率的影响甚微,所以如此产生的描述子对 仿射变换也具有一定程度的不变性。 2)对特征矢量进行归一化处理,以使其拥有一 定程度的光照强度不变性。 1.3特征点匹配 SIFT算法根据描述子之间的欧氏距离来判断 其相似性,并根据相似性的大小进行特征点匹配。 为减少误匹配,通常先使用比值提纯法对匹配结果 进行提纯。除查询最近邻的描述子之外,还要考虑 次近邻;当次近邻距离与最近邻距离的比值小于阈 值时,则认为这个SIFT图像配准基本流程不够显 著,剔除该匹配对。匹配对比值提纯之后,一般还要 使用随机抽样一致性(random sample consensns, RANSAC)方法剔除离群匹配对,以进一步减少误匹配。 2遥感图像配准 传统SIFT算法是为解决不同视角之间目标或 场景的可靠匹配而提出的。该方法针对同一种传感 器图像之间的图像匹配效果较好,但直接用于不同 性质遥感图像之间的配准可能会失效;在复杂场景 或相似场景下,SIFT算法容易出现误匹配;同时,传 统SIFT算法也存在生成128维的描述子速度慢等 问题。为了使SIFT算法能更好地应用于遥感图配 准,很多研究者提出了不同的改进方案,可分为4 类:①SIFT提升算法;②针对遥感图像性质的改 进;③混合方法;④针对算法流程的改进。 2.1 SIFT提升算法 在计算机视觉领域,继SIFT后又有大量提升算 法 ,有些已经被应用于遥感图像配准。Bay 等_20 借鉴了SIFT的思想,于2008提出加速鲁棒特 征(speeded—up robust features,SURF)描述子,用图 像积分代替卷积运算,提高了特征提取的速度;Liu 等_2 把SURF应用于SAR图像匹配,获得了高匹配 率。Morel等 提出了仿射无关的ASIFT(affine— SIFT)算法;Yang等 将ASIFT应用于图像配准 问题;Lin等u 借鉴ASIFT的思想,改进了SURF, 提出了仿射无关的ASURF(affine—SURF)算法。 针对SITF描述子维数高(128维)导致计算量 ·16· 国土资源遥感 2016拄 大的问题,Liu等 提出了利用核独立成分分析 (kernel independent component analysis,KICA)降维 的KICA—SIFT,并将其应用于遥感图配准。但这种 提升方法需要图像的学习样本以生成特征空间投影 层,以减少光斑噪声的影响并提高速度。Dellinger 等 提出的SAR—SIFT算法依照雷达图像特性重 新定义了SAR图像梯度,并修改了SIFT的关键点 检测算法,调整了主方向和描述子的生成方法;实 验表明,该方法在SAR图像匹配方面的效果远优于 传统SIFT算法。 2.2.2针对不同类型图像 矩阵,因而对不同类型的遥感图像需要分别训练,不 能用于不同种类遥感图像的配准。此外,SURF的 描述子只有64维,计算速度比SIFT快,但对尺度变 化较大的图像无法保持特征的不变性。 Mikolajczyk等 于2005年提出的梯度位置定 向直方图(gradient location—orientation histogram, SIFT本身对线性灰度变化具有不变性,但多源 遥感图之间的灰度差异复杂,可以是非线性的。 Abedini等 。。对灰度差异较大的航摄图像和LiDAR GLOH)采用对数极坐标同心圆计算梯度直方图,在 图像分别用参数不同的SIT算子提取特征,F在匹配 维度不变(128维)的情况下,提高了SIFT特征描述 子的独特性,提升了算法的鲁棒性;但此方法也需 要训练样本。Sedaghat等 提出的鲁棒性一致的 尺度不变特征变换(uni ̄rm robust SITF,UR—SIFT) 算法利用网络规则优化了SIFT特征点的分布,从而 提高对具有局部变换的光学遥感图像的配准精度。 此类算法将计算机领域的SITF提升算法应用 到遥感图像配准,没有针对遥感图像的特点进行改 进,对于光学遥感图像之间的配准,能够取得较好的 效果;但对于不同性质遥感图像之间的配准,可能 得不到好的效果,甚至可能会失效。 2.2针对遥感图像性质的改进 遥感图像种类繁多,性质各异,有些图像与一般 光学图像性质的差异较大。为使专为一般光学图像 设计的SIFT算法能更好地应用于其他图像,许多针 对遥感图像性质的改进被相继提出。 2.2.1 针对SAR图像 SIFT本身是为有少量加性高斯噪声的一般光 学图像设计的,SAR图像固有的乘性相干斑噪声严 重影响了SIFT算法的关键点检测及特征描述子的 稳定性。针对SAR图像的特征,研究者对SIFT做 了相应的改进 。Lu等 在寻找尺度空间的 局部极值点时,用24邻域替代8邻域,使提取出来 的关键点有更好的抗噪性。Schwind等 提出跳过 受光斑噪声影响最大的尺度空间金字塔第一层 (SIFT—OCT),并且用无限对称指数滤波器(infinite symmetric exponential filter,ISEF)处理图像,以进一 步减少光斑噪声的影响,有效减少了计算量,抑制了 光斑噪声产生的伪关键点。其后Suri等 钊又提出 在描述子匹配阶段混合图像互信息,以提高采集方 式不同的SAR图像之间匹配的一致性。Wang 等_2 提出的双边滤波SITF(bilateral filter SIFT,BF. SIFT)算法用双边滤波器取代高斯滤波器生成尺度 空间,用各向异性滤波器使滤除光斑噪声时边缘信 息丢失较少;该方法也略过尺度空间金字塔第一 过程中用RANSAC和Baarda数据探测法剔除离群 误匹配。 等 针对多光谱遥感图像配准问题提 出的尺度约束SIFT(scale restricted SIFT,SR— SIFT)在匹配过程中有效减少了因多光谱遥感图像 灰度差异大而导致的误匹配,但会减弱匹配的旋转 不变性。IJi等 在此基础上提出了尺度一方向联 合约束准则,并提升了特征描述子的鲁棒性,使其 适用于多光谱及多传感器的情况。Vural等 弱 提出 的方向限制SIFT(orientation—restricted SIFT,OR— SIFT)不区分反向的灰度,以此将构造特征描述子时 所用的方向柱(bin)数量减少为4;该方法能适应灰 度可能相反的多光谱遥感图像配准,速度快,但描述 子的区分度有所下降。 2.2.3利用地理位置信息 遥感图像带有额外的地理位置信息,合理利用 这些信息可以显著提高配准的速度和精度。Liu 等 针对部分由装配了POS系统的机载干涉SAR 系统采集的SAR图像,改进了SITF描述子的匹配 步骤:先根据POS提供的位置和姿态数据剔除距离 较远的匹配对,再根据匹配对的相关系数剔除误匹 配;实验结果表明匹配的准确率得到了大幅度提 高。岳春宇等 提出先根据卫星遥感图像问的几 何关系进行粗纠正,消除尺度和旋转差异;再提取 SITF特征,并用结构相似性指数测度(structure simi— larity index measure,SSIM)取代欧氏距离作为SIFT 特征之间的相似性测度;该方法适用于星载SAR 图像图像与可见光图像配准,几何定位精度影响大, 只在变形小的地形平坦地区效果较好。 此类方法充分利用遥感图像特征和遥感图像具 有的信息改进SITF遥感图像配准,取得了一定的效 果,也成为目前研究的热点。但遥感图像种类多、成 像机理不同,导致图像差异很大,要从不同性质遥感 图像中提取稳定、可靠的SIFT特征,还需开展进一 步的研究。 2.3 混合方法 除针对SIFT算法本身的改进外,还有很多研究 第2期 李孚煜,等: 基于SIFT的遥感图像配准技术综述 将SIFT与其他方法结合起来。这些方法 将遥 感图像配准划分为粗配准和精配准2个阶段,在粗 配准阶段使用SIFT及其改进算法,然后使用其他方 法进一步精配准。Yu等 先用SIFT特征描述子 对多源遥感图像进行粗配准以获得相同尺度图像, 再从小波域中提取Harris角点进行精配准。刘向增 等 和Yi等 先利用改进的具有仿射不变性的 SITF特征描述符对SAR图像进行粗配准,再用奇异 值分解(singular value decomposition,SVD)点匹配算 法对图像进行精配准,从而提高了该算法对几何变 化及灰度变化大的稳健性,但算法复杂度较高。IJi 等_3 结合SURF描述子和快速最小截平方和估计 算子先对SAR图像进行粗配准,再使用归一化互相 关方法进行精配准,取得亚像元级精度的变换参数。 Ye等。加 先利用SR—SIFT对多光谱遥感图像进行 粗配准,然后用Harris算子和局部自相似性描述子 找到匹配对,并用全局一致性检验移除误匹配,完成 精配准。宋智礼 针对多模态图像之间灰度差异 巨大会造成SIFT算法特征点的正确匹配率低的问 题,提出了一种综合利用特征点信息和图像中轮廓 信息的图像配准新方法,有效提高了图像特征点的 正确匹配率。王晓华等 首先利用Canny边缘检 测算法提取SAR图像的闭合区域,用7阶不变矩特 征作为闭合区域的描述子进行粗配准,再运用改进 Canny边缘特征的SITF算法进行精配准。 上述方法适用于尺寸、角度、平移以及各自畸变 较大的图像之间的配准,配准精度高,通常能达到亚 像元级水平。其缺点是由于综合了多种方法,增加 了额外处理步骤,因而计算复杂度高,耗时长。 2.4针对算法流程的改进 还有些方法 加 改进了基于SIFT的图像配准 流程,在一些步骤中结合或直接用其他方法替换了 原有步骤。为了找出尽可能多的有效候选匹配对, 2006年李晓明等 提出先设定比较小的最近邻与 次近邻的距离比率阈值,选出可靠性较高的匹配对, 据此初步计算出几何约束模型;然后在该约束下对 其余可能的匹配对进行挑选,以此扩展更多的匹配 对。2008年Liu等 在特征提取中加人多尺度 Harris检测算子空问尺度表示,并通过聚类方法和 归一化互信息剔除误匹配,使大尺度图像和不同传 感器图像配准效果得到提高。针对Lowe_2 提出的 采用最近邻与次近邻的距离比率进行匹配的流程容 易出现重复匹配、多对一匹配的问题,李芳芳等 与张建花等 刮分别提出了双向匹配算法,减少了原 流程的误匹配。2010年Song等 在匹配步骤中使 用三角区域取代RANSAC,能更好地处理大量SIFT 描述子误匹配的情况;并提出了一种基于Lissajous 曲线的新的相似性度量方法,提高了配准准确率。 Goncalves等 在SIFT配准流程中加入了图像分割 步骤,通过分块选取减少数据量。Qiu等 先用 Contourlet变换将遥感图像分解为高频和低频部分, 再用不同方法分别提取特征区域对(低频部分使用 SITF特征,高频部分使用互相关系数),最后再综合 配准,克服了传统SITF匹配算法完全忽略不同特征 描述子之间的几何关系、只注重局部优化的局限。 此类方法针对SIFT的配准流程进行改进,主要 目的在于获取更多可靠的SIFT特征匹配对,以提高 配准精度。但这些方法将SITF特征独立看待,没有 将多个SIFT特征或者所有的SITF特征作为一个整 体,进行整体匹配。通过这种整体匹配,可以利用 SIFT特征之间的空间位置和形状等信息,减少单个 SIFT算法因特征信息不足而可能导致的误匹配。 李伟峰等 。。把SIFT特征作为特征点集,用Haus— dorf距离作为适应度函数,通过遗传算法(genetic algorithm,GA)寻求图像间的几何变换参数。这种 方法把基于特征点的匹配转变为基于点集的匹配, 具有更高的抗噪性。高华等 将所有的SIFT作为 一个整体进行匹配,并用置信传播(belief propaga— tion,BP)算法求解最优匹配。 3 问题与展望 3.1面临的问题 对SIFT遥感图像配准技术研究已有很多,但仍 存在一些难点没有解决,主要表现在2个方面: 1)不同性质遥感图像配准的问题。对不同类 型传感器获取的图像进行配准时,由于噪声性质差 异和成像机理不同,像元表现形式不同,使得图像之 间灰度分布差异较大,直接使用SIFT方法进行配准 的精度很低,甚至会匹配失败。SIFT特征描述子很 适合多源遥感图像之间的配准,很多研究利用SIFT 特征描述子并做出种种改进用于解决多源遥感图像 配准问题,但基本上都是针对有明显地物(道路、河 流等)特征的图像,目前仍没有统一的框架,尚未形 成很成熟的方法及处理流程。因此,如何把SIFF方 法更好地应用于多源遥感图配准,仍需进一步深入 研究。 2)关于配准速度的问题。许多实际应用对遥 感图像配准速度有较高要求。SIFT方法在特征提 取和匹配过程中普遍耗时较多,不能满足有实时性 或应急需求的配准任务的要求。随着遥感图像的空 间分辨率和光谱分辨率越来越高,单景遥感图像的 国土资源遥感 2016年 数据量会加倍增长,数据处理时间也会越来越长。 因此,如何在保证配准精度的前提下提高配准效率 越发显得重要。 3.2展望 SIFT算法具有一些良好的特性,非常适用于遥 感图像配准。如何更好地发挥SIFT算法的特性,提 高遥感图像配准的精度和速度,以下几方面可能会 是有益的探索: 1)适用于不同性质遥感图像配准的SIFT特征 描述子研究。很多研究者已经开始研究适用于不同 数据源遥感图像配准的SIFT特征描述子,并取得了 一定的成果。但这些研究只是针对特定2种或几种 类型遥感图像的SIF-F特征描述子,尚未研究通用的 遥感图像配准SITF特征描述子。因此,研究与遥感 图像性质无关、适用于不同数据源遥感图像配准的 SIFT特征描述子是未来研究的一个方向。 2)与人工智能技术结合。随着人工智能技术 的发展,已有一些人工智能方法应用到遥感图像配 准,如Ye等 应用人工免疫优化算法实现了遥感 图像粗配准。但目前还鲜有将人工智能方法应用于 SIFT遥感图像配准中。很多人工智能方法的引入 可以改善SIFT遥感图像配准方法,例如:利用人工 智能中的粗糙集方法进行SIFT描述子的降维;利 用人工智能中一些优化方法进行SITF特征的匹配。 3)与并行计算技术结合。计算机硬件的发展 以及并行计算和网格计算技术的发展,可为解决 SIFT方法在特征提取和匹配过程中耗时较多、不能 满足实时性要求的问题提供较好的解决方案。有些 研究者已经开始这方面的尝试,例如Warn等 使 用现场可编程逻辑门阵列(field programmable gate array,FPGA)直接在硬件上实现并行SITF算法。因 此,研发并行化SIFT遥感图像配准算法也是未来研 究的一个重要方向。 4)与其他配准方法结合。将SIFT的遥感图像 配准算法与其他配准方法进行集成,研究能够根据 具体情况自动评价和选择配准算法的引擎 ,为用 户提供更好的图像配准解决方案,无疑将成为未来 研究的一大趋势。 4 结论 1)SIFT方法从1999年被提出之后,在短短的 lO余年间,在遥感图像配准领域得到了广泛的应 用,并且仍然处于蓬勃发展之中。 2)在对SIFT遥感图像配准技术的研究进程进 行系统评述的基础上,本文描述了一般性的SIFT图 像配准方法和4类SITF应用于遥感图配准的改进 算法,包括SIFt提升算法、针对遥感图像性质的改 进、混合方法以及针对算法流程的改进等,并分析了 各种改进方法的适用范围和优缺点。 3)SIFT遥感图像配准技术目前所面临的主要 问题是如何实现多源不同性质遥感图像的配准和在 保证配准精度的前提下提高配准速度。 4)为更好地发挥SIFT算法的良好特性,进一步 提高遥感图像配准的精度和速度,有必要在适用于 不同性质遥感图像配准的SIFT特征描述子研发、与 人工智能技术结合、并行计算以及与其他配准方法 相结合等方面做更深入的研究探索。 参考文献(References): [1] Zitov6 B,Flusser J.Image registration methods:A survey[J].Im. age and Vision Computing,2003,21(11):977—1000. [2]Lowe D G.Distinctive image features from scale—invariant key points[J].International Journal of Computer Vision,2004,60 f2):91—110. [3]王永明,王贵锦.图像局部不变性特征与描述[M].北京:国防 工业出版社,2010. Wang Y M.Wang G J.Image Local Invafiant Features and Descrip— tors[M].Beijing:National Defense Industry Press,2010. [4]余先川,吕中华,胡丹.遥感图像配准技术综述[J].光学精密 工程,2013,21(11):2960—2972. Yu X C,Lyu Z H,Hu D.Review of remote sensing image registra- tion techniques[J].Optics and Precision Engineering,2013,21 (11):2960—2972. [5]Lowe D G.Object recognition from local scale—invariant features C]//The Proceedings of the 7th IEEE International Conferenee on Computer Vision.Kerkyra:IEEE,1999,2:1150—1157. [6] Vedaldi A.An Implementation of SIFT Detector and Descriptor [R].Los Angeles:University of California,2006. [7] Mikolajczyk,Schmid C.A performance evaluation of local descrip— tots[J].IEEE Transactions on Pattern Analysis and Machine Intel— ligence,2005,27(1O):1615—1630. [8]Morel JM,YuG S.ASIFT:A newframeworkforfully afifneinvari— ant image comparison[J].SIAM Journal on Imaging Sciences, 2009,2(2):438—469. [9] Zhang N.Computing parallel speeded—up robust features(P— SURF)viaPOSIXthreads[M]//HuangD S,JoKH,LeeHH,et a1.Emerging Intelligent Computing Technology and Applications. Berlin Heidelberg:Springer,2009:287—296. [1O]Duan C,Meng X,Tu C,et a1.How to make local image features more eifcient and distinctive[J].IET Computer Vision,2008, 2(3):178—189. [11]Lin C,Liu J,Cao L.Image matching by afifne speed—up robust features[C]//Proceedings of Pattern Recognition and Computer Vision.Guilin,China:SPIE,201 1,8004:80040G. [12]Tuytelaars T,Mikolajczyk K.Local invariant feature detectors:A survey【J].Foundations and Trends in Computer Graphics and Vi- sion,2008,3(3):177—280. [13]Cheung W,Hamarneh G.N—sitf:N—dimensional scale invariant 第2期 李孚煜,等:基于SIFI"的遥感图像配准技术综述 ·19· feature transform for matching medical images[C]//Proceedings of the 4th IEEE International Symposium on Biomedical Imaging: From Nano to Macro.Arlington,VA:IEEE,2007:720—723. [14]Ke Y,Sukthankar R.PCA—SIFT:A more distinctive representa- tionforlocalimage descriptors[C]//Proceedings ofIEEE Comput— er Society Conference on Computer Vision and Pattern Reeogni- tion.Washington,DC:IEEE.2004,2:506—513. [15]Kupfer B,Netanyahu N S,Shimshoni I.An efifcient SIFT—based mode—-seeking algorithm for sub——pixel registration of remotely sensed images[J].IEEE Geoscienee and Remote Sensing Letters, 2015,12(2):379—383. [16]Lingua A,Marenchino D,Nex F.Performance analysis of the SIFT operator for automatic feature extraction and matching in photo— grammetric applications[J].Sensors,2009,9(5):3745—3766. [17]Liu X Z,Tina Z,Leng C C,et a1.Remote sensing image registration based on KICA—SITF descriptors[C]//Proceedings of the Sev— enth International Conference on Fuzzy Systems and Knowledge Discovery(FSKD).Yantai:IEEE,2010,1:278—282. [18]Bu F,Qiu Y,Liu J,et a1.Improved bidirectional image registration based on Radon—SIFT[J].Journal of Computational Information Systems,2012,8(12):4997—5004. [19]Gong M G,Zhao S M,Jiao L C,et a1.A novel coarse—to—fine scheme for automatic image registration based on SITF and mutual information『J].IEEE Transactions on Geoseience and Remote Sensing,2014,52(7):4328—4338. [2O]Bay H,Ess A,Tuytelaars T,et a1.Speeded—up robust features (SURF)[J].Computer Vision and Image Understanding,2008, 110(3):346—359. [21]Liu R H,Wang Y G.SAR image matching based on speeded up ro- bust feature[C]//Proceedings of WRI Global Congress on Intelli- gent Systems.Xiamen:IEEE.2009.4:518—522. [22]Yang J B,Hu F Y.Image registration algorithm based on ASIFT [J].Electronic Technology,2012(7):39-42. [23]Sedaghat A,Mokhtarzade M,Ebadi H.Uniform robust scale—in- variant feature matching for optical remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing,201 1,49 (11):4516—4527. [24]Lu J,Wang B,Gao H M,et a1.SAR images matching based on lo— cal shape descriptors[C]//Proceedings of IET International Radar Conference.Guilin:IEEE.2009:1—4. [25]Schwind P,Suri S,Reina ̄z P,et a1.Applicability of the SIFT oper- ator to geometric SAR image registration[J].International Journal of Remote Sensing,2010,31(8):1959—1980. [26]Suri S,Schwind P,Reinartz P,et a1.Combining mutual information and scale invariant feature transform for fast nad robust multisensor SAR image registration[C]//Proceedings of the 75th annual AS- PRS Conference.Wessling,Germany:Remote Sensing Technology Institute,2009. [27]Wang S H,You H J,Fu K.BFSIFT:A novel method to find feature matches for SAR image registration[J].IEEE Geoscienee and Re— mote Sensing Letters,2012,9(4):649—653. [28]Dellinger F,Delon J,GousseauY,et a1.SAR—SITF:A SIFT—like algoirthm for applications on SAR images[C]//Proceedings of IEEE Intemational Geoscience and Remote Sensing Symposium (IGARSS).Munich:IEEE,2012:3478—3481. [29]Fan J W,Wu Y,Wang F,et a1.SAR image registration using phase congruency and nonlinear diffusion—based SIFT[J].IEEE Goo— science and Remote Sensing Letters,2015,12(3):562—566. [30]Abedini A,Hahn M,Samadzadegan F.An investigation into the registration of LIDAR intensity data and aerial images using the SIFT approach[C]//Proceedings of the 2nd International Ar- chives of Photogrammetyr,Remote Sensing and Spatial Ifnormation Sciences.Beijing,2008,37:3—11. [31]Yi Z,Zhiguo C,Yang X.Multi—spectral remote image registration based on SIFT[J].Electronics Letters,2008,44(2):107—108. [32]Li Q L,Wang G Y,Liu J G,et a1.Robust scale—invariant feature matching for remote sensing image registration[J].IEEE Geosci— enee and Remote Sensing Letters,2009,6(2):287—291. [33]Vural M F,Yardimei Y,Temizei A.Registration of multispeetrla satellite images with orientation—restircted SITF[C]//Proceed. ings of IEEE International Geoscience and Remote Sensing Sympo— sium.Cape Town:IEEE,2009,3:III一243一III一246. [34]Liu J Z,Yu X C.Research on SAR image matching technology based on SIFT[C].Proceedings of the 2nd International Archives of Photogrammetry,Remote Sensing and Spatial Infornmtion Sci— ences.Beijing,2008,37:403—408. [35]岳春字,江万寿.几何约束和改进SIFT的SAR影像和光学影 像自动配准方法[J].测绘学报,2012,41(4):570—576. Yue C Y,Jiang W S.An automatic registration algorithm for SAR nad optical images based on geometyr constraint and improved SIFT[J].Acta Geodaetica et Cartographiea Sinica,2012,41(4): 570—576. [36]Yu L,Zhang D R,Holden E J.A fast and fully automatic registra— tion approach based on point features for multi—。source remote—— sensing images[J].Computers&Geoseienees,2008,34(7):838— 848. [37]刘向增,田铮,温金环,等.基于仿射不变SIFT特征的SAR图 像配准[J].光电工程,2010,37(11):121—127. Liu X Z,Tian Z,Wen J H,et a1.SAR image registration based on affine invariant SIFT features[J].Opto—Electornic Engineering, 2010,37(O11):121—127. [38]ⅥZ,Zhang X,Mu X,et a1.SAR image registration based on SIFT and MSA[C]//Conferences of the Photoelectornie Technology Committee of the Chinese Society of Astronautics:Optical Imaging, Remote Sensing,and Laser—Matter Interaction.Suzhou:SPIE, 2014,9142:91421 K. [39]¨D,Zhang Y H.A fast offset estimation approach for InSAR im— age subpixel registration[J].IEEE Geoscience and Remote Sens- ing Letters,2012,9(2):267—271. [40]Ye Y X,Shan J.A local descriptor based registration method for multispeetral remote sensing images with non—linear intensity differences[J].ISPRS Journal of Photogrammetry and Remote Sensing.2014,90:83—95. [41]宋智礼.基于特征点与边界信息的全自动多模态遥感图像配 准方法[J].国土资源遥感,2014,26(3):48—54.doi:10.6046/ tgzyyg.2014.03.08. Song Z L.Automatic approach based on point and curve features ofr muhimodal remote sensing image registration[J].Remote Sens- ing for Land and Resources,2014,26(3):48—54.doi:10.6O46/ zyyg.2O14.o3.O8. [42]王晓华,邓喀中,杨化超.集成互补不变特征的sAR影像自动 配准[J].国土资源遥感,2014,26(1):52—56.d0i:l0.6046/ ·20· gtzyyg.2014.01.10. 国土资源遥感 2016矩 istration throu曲image segmentation and SIFT[J].IEEE Transac. tions on Geoscience and Remote Sensing,2011,49(7):2589— 2600. Wang X H,Deng K Z,Yang H C.Automatic SAR image registra— tion of integrated complementary invafiant features[J].Remote Sensing for Land and Resources,2014,26(1):52—56.doi: 10.6046/gtzyyg.2014.O1.10. [49]Qiu P R,Liang Y.The improved algorithm of remote sensing image registration based on SIFT and CONTOURLET transform[C]// Proceedings of the 4th IEEE International Conference on Software [43]李晓明,郑链,胡占义.基于SIFT特征的遥感影像自动配准 [J].遥感学报,2006,10(6):885—892. Li X M,Zheng L,Hu Z Y.SIFT based automatic registration of re— Engineering and Service Science(ICSESS).Beijing:IEEE,201 3: 906—909. motely—sensed imagery[J].Journal of Remote Sensing,2006, 10(6):885—892. [5O]李伟峰,周金强,方圣辉.基于改进Hausdorff距离的图像配准 方法[J].国土资源遥感,2014,26(2):93—98.doi:10.6046/ gtzyyg.2014.02.16. [44]Liu X J,Yang J,Sun J W,et a1.Image registration approach based on SIFT[J].Infrared and Laser Engineering,2008,37(1):156— 160. Li w F.Zhou J Q.Fang S H.Image registration method based on improved Hausdorff distance[J].Remote Sensing ofr Land and Re. sources,2014,26(2):93—98.doi:10.6046/gtzyyg.2014.02.16. [45]李芳芳,肖本林,贾永红,等.SIFT算法优化及其用于遥感影像 自动配准[J].武汉大学学报:信息科学版,2OO9,34(10):1245— 1249. [51]高华,曹锋,陈明星.基于SIFT—BP的图像配准算法[J].重 庆理工大学学报:自然科学,2011,25(12):106—110. Gao H,Cao F,Chen M X.Algorithm of image registration based on Li F F,Xiao B L,Jia Y H,et a1.Improved SIFT algorithm and its application in automatic registration of remotely—sensed imagery SIFT—BP[J].Journal of Chongqing Institute of Technology:Natu— ral Science,2011,25(12):106—110. [J].Geomaties and Information Science of Wuhan University, 2009,34(10):1245—1249. [52]Ye F M,Xu S P,Xiong Y H.Two—step image registration by arti— ifeila immune system and chamfer matching[J].Chinese Optics of Letters,2008,6(9):651—653. [46]张建花,白仲斐,惠广裕.基于SIFT算法的异源遥感影像自动 匹配研究[J].电子设计工程,2011,19(13):176—179. Zhang J H,Bai Z F,Hui G Y.Research on automatic registration of [53]wam S,Emeneker W,Cothren J,et a1.Accelerating SIFT OD paral— lel architectures[c]//Proceedings of IEEE International Confer- enee on Cluster Computing and Workshops.New Orleans,LA: IEEE.2009:1—4. multi—source renlote sensing images based on SIT Falgorithm[J]. Electronic Design Engineering,2011,19(13):176—179. [47]Song Z L,Li S,George T F.Remote sensing image registration ap- proach based on a retroftted SIT aFlgorithm and Lissajous—curve [54]Moigne J L,Netanyahu N S,Eastman R D.Image Registration for trajectories[J].Optics Express,2010,18(2):513—522. [48]Gonealves H,Corte—Real L,Goncalves J A.Automatic image reg— Remote Sensing[M].Cambridge:Cambridge University Press, 20l1 Summarization of SIFT--based remote sensing image registration techniques LI Fuyu,YE Famao (Department ofComputer Science and Engineering,Nanehang University,Nanehang 330031,China) Abstract:Remote sensing image registration is an indispensable part in such aspects as remote sensing image fusion,change detection,and image mosaicking.Recently,many SIFT—based remote sensing image registration methods have been presented.In this paper,SIFT—based remote sensing image registration techniques are discussed in a systematic way.Improvements of these techniques are categorized into 4 types,i.e.application of ,improved—SIFT,improvement of remote sensing image properties,combination with other methods,and improvement of the algorithm process.Then,the advantages,disadvantages and scope of applications are analyzed for each category.The existent problems and diiculties of SIFT—f—based remote sensing image registration are summarized.Finally,the prospects of SIFT—based remote sensing registration are predicted so as to provide some valuable references for researchers in this field. Keywords:scale invariant feature transform(SIFT);remote sensing image;image registration;feature extraction 第一作者简介:李孚煜(1989一),男,硕士研究生,主要研究方向为遥感图像配准。Email:lifuyu198919@gmail.con。 通信作者:叶发茂(1978一),男,副教授,主要从事遥感图像处理和人工智能方面研究。Email:yefamao@ncu.edu.cn。 (责任编辑:刘心季) 

因篇幅问题不能全部显示,请点此查看更多更全内容