An edge-based scale- and affine-invariant algorithm for remote sensing image registration

For remote sensing image registration, we find that affine transformation is suitable to describe the mapping between images. Based on the scale-invariant feature transform (SIFT), affine-SIFT (ASIFT) is capable of detecting and matching scale- and affine-invariant features. Unlike the blob feature detected in SIFT and ASIFT, a scale-invariant edge-based matching operator is employed in our new method. To find the local features, we first extract edges with a multi-scale edge detector, then the distinctive features (we call these ‘feature from edge’ or FFE) with computed scale are detected, and finally a new matching scheme is introduced for image registration. The algorithm incorporates principal component analysis (PCA) to ease the computational burden, and its affine invariance is embedded by discrete sampling as ASIFT. We present our analysis based on multi-sensor, multi-temporal, and different viewpoint images. The operator shows the potential to become a robust alternative for point-feature-based registration of remote-sensing images as subpixel registration consistency is achieved. We also show that using the proposed edge-based scale- and affine-invariant algorithm (EBSA) results in a significant speedup and fewer false matching pairs compared to the original ASIFT operator.     

尺度不变特征变换法在SAR影像匹配中的应用

通过几组可代表合成孔径雷达(Synthetic aperture radar, SAR)影像配准主要实际应用情景的实验, 对尺度不变特征变换法(Scale invariant feature transformation, SIFT)在SAR图像配准中的应用能力进行了系统的评价. 发现SIFT方法可以实现同轨获取的多时相斜距影像之间、斜距与地距影像之间、地距影像与经过地理编码的斜距影像之间的精确配准. 为了利用SIFT实现整景遥感影像间的配准, 提出了分块处理的方法. 实验发现分块寻找特征点虽然可引起特征点总数的降低, 但特征点的重复出现率仍大于76\%, 可满足大影像间配准的需要. 同时也发现SIFT匹配过程过于耗时是阻碍其在遥感领域实际应用的技术瓶颈. 本文指出了解决该瓶颈的技术方向, 并对不变特征匹配法在遥感领域的应用进行了展望.     

具有SIFT描述的多尺度角点图像配准

角点含有丰富的图像结构信息,在图像配准中是广泛应用的图像特征。Harris算法是经典的角点提取算法,Harris角点对图像旋转具有不变性,但对尺度变化敏感,在有尺度变化的图像配准中,应用受限。仿照SIFT特征点提取过程,提出了一种多尺度角点提取方法,提取的多尺度角点对图像旋转和尺度变化有很好的适用性。并用SIFT描述子描述,用光学及SAR图像进行了配准实验。结果表明,与SIFT、Harris算法相比,本文方法在保证配准精度的基础上,配准时间减少40%以上,特征点在配准过程中的利用率提高一倍多。     

面向全景拼接的图像配准技术研究及应用

针对SIFT算法在生成特征向量和进行特征匹配过程中存在的计算量较大、容易产生误匹配等不足,提出一种优化的SIFT配准算法。优化算法首先引入拉普拉斯算子对图像边缘进行锐化处理,结合图像单元信息投影熵原理提取分块图像特征;再依据投影熵矢量欧氏距离最小揣度进行特征匹配;最后利用改进的随机抽样一致性算法删除误匹配。改进算法应用于全景图像拼接中。实验表明,与原始SIFT配准算法相比,优化算法能够有效提高算法效率,减少错误匹配,取得了较好的匹配效果。     

An automatic optical and SAR image registration method with iterative level set segmentation and SIFT

Although optical image registration methods have been successfully developed over the past decades, the registration of optical and synthetic aperture radar (SAR) images is still a challenging problem in remote sensing. Feature-based methods are considered to be more effective for multi-source image registration. However, almost all of these methods rely on the feature extraction algorithms. In this article, a simultaneous segmentation and feature-based registration method based on an iterative level set and scale-invariant feature transform (ILS-SIFT) is proposed. The core idea consists of three aspects: (1) an iterative procedure that combines image segmentation and matching is proposed to avoid registration failure caused by poor feature extraction; (2) a uniform level set segmentation model for optical and SAR images is presented to segment conjugate features; and (3) an improved SIFT algorithm is employed to determine whether the registration was successful. Experimental results have shown the effectiveness and universality of the proposed method.     

基于SIFT点特征和Canny边缘特征匹配的多源遥感影像配准研究

针对多源遥感影像的配准,提出了一种结合SIFT点特征和Canny边缘特征匹配的配准算法。该算法首先采用SIF7算法提取点特征并进行影像粗配准,在获得初始仿射变换参数后,采用Canny算法提取边缘特征,并采用成本函数法进行边缘点匹配,经粗差滤除后得到有效的匹配特征点对,随之进行影像精配准。该算法结合了SIFT、算法和Canny算法的优点,解决了多源遥感影像因辐射差异和几何差异造成的难以正确配准的问题。实验结果表明,算法具有较强的鲁棒性,并取得了较好的配准精度。     

新型优化SIFT的图像快速配准方法研究

针对尺度不变特征变换（Scale Invariant Feature Transform,SIFT）算法图像配准时间长、匹配率低等问题,提出了重合区域图像极值特征提取法以及图像降采样特征配准法。在特征匹配的过程中,重点考虑重叠区域的特征匹配点对极值一致性约束条件,并利用差分尺度空间的局部单极值,以减小冗余特征点,节约特征提取与匹配时间;在此基础上,以图像尺度大小（选择180×180）作为缩放约束,对图像进行同比例插值缩小,并根据缩放后图像与原始图像变换矩阵之间的关系,计算出原始图像变换矩阵,实现图像的快速、精确配准。利用实例验证了所提方法的有效性和可行性。     

遥感图像拼接系统

提出和实现了一种图像配准方法,利用OpenCV库开发了一个低空遥感图像拼接系统. 将SIFT作为图像拼接特征向量,实现了图像局部尺度空间中极值点的计算和SIFT特征点的提取. 使用特征向量的欧氏距离实现特征点的粗匹配,结合随机抽样一致RANSAC算法对匹配点进行优化,并精确估算出投影变换矩阵,实现两幅图像的拼接. 最后实现对重合区域的图像融合. 实验结果表明本文方法较好的解决了遥感图像中常出现的图像的平移、缩放、旋转等变换下的配准问题,达到较好的拼接效果.     

一种SAS图像拼接改进算法

SWF算子提取的特征点对图像尺度和旋转具有不变性,对环境变化、噪声以及仿射变换都具有很强的鲁棒性。本文在基于SIFT算子和RANSAC算法的图像拼接算法的基础上,根据SAS图像分辨率高、相邻帧图像重合度大且只存在平移和旋转变换的特点,对提取稳定特征点和计算拼接图像之间特征点匹配对的过程进行了改进。实际的SAS湖试图像拼接处理结果说明,改进算法提高了拼接算法的速度和图像之间的配准精度,增强了算法的鲁棒性。     

肌骨超声图像特征检测及拼接

目的 肌骨超声宽景图像易出现解剖结构错位、断裂等现象,其成像算法中的特征检测影响宽景图像的质量,也是超声图像配准、分析等算法的关键步骤,但目前仍未有相关研究明确指出适合提取肌骨超声图像特征点的算法。本文利用结合SIFT （scale invariant feature transform）描述子的FAST（features from accelerated segment test）算法以及SIFT、SURF（speeded-up robust features）、ORB（oriented FAST and rotated binary robust independent elementary features（BRIEF））算法对肌骨超声图像序列进行图像拼接,并对各算法的性能进行比较评估,为肌骨超声图像配准、宽景成像提供可参考的特征检测解决方案。方法 采集5组正常股四头肌的超声图像序列,每组再采样10幅图像。利用经典的图像拼接算法进行肌骨图像的特征检测以及图像拼接。分别利用上述4种算法提取肌骨超声图像的特征点;对特征点进行特征匹配,估算出图像间的形变矩阵;对所有待拼接的图像进行坐标变换以及融合处理,得到拼接全景图,并在特征检测性能、特征匹配性能、图像配准性能以及拼接效果等方面对4种算法进行评估比较。结果 实验结果表明,与SIFT、SURF、ORB算法相比,FAST-SIFT算法所提取的特征点分布更均匀,可以检测到大部分肌纤维的端点,且特征点检测时间最短,约4 ms,其平均匹配对数最多,是其他特征检测算法的25倍,其互信息和归一化互相关系数均值分别为1.016和0.748,均高于其他3种特征检测算法,表明其图像配准精度更高。且FAST-SIFT算法的图像拼接效果更好,没有明显的解剖结构错位、断裂、拼接不连贯等现象。结论 与SIFT、SURF、ORB算法相比,FAST-SIFT算法是更适合提取肌骨超声图像特征点的特征检测算法,在图像配准精度等方面都具有一定的优势。     

基于局部显著边缘特征的快速图像配准算法

针对尺度不变的特征变换(SIFT)算法提取的特征点数目多、匹配耗时长、匹配精度不高等问题,提出了一种基于局部显著边缘特征的快速图像配准算法。该算法利用SIFT算法提取待选特征点,同时用小波边缘检测提取图像边缘,建立特征点周围邻域的边缘特征,筛选出具有显著边缘特征的特征点,结合Shape-context算子和边缘特征形成特征描述向量,采用欧氏距离作为匹配度量函数对筛选出的特征点进行初步匹配,然后用随机一致性检验(RANSAC)算法消除误匹配点对。实验结果表明,该算法有效控制了特征点的数量,提高了特征点的质量,缩小了特征搜索空间,提高了特征匹配的效率。     

一种基于点特征的异源SAR图像配准方法

适配性分析是合成孔径雷达(Synthetic aperture radar, SAR)图像匹配的重要研究内容, 它研究图像是否适合选作基准图的问题. 本文研究基于点特征配准方法的异源SAR图像适配性分析, 以特征点的数目及稳健程度来度量SAR图像适配性, 提出基于点特征的异源图像适配性评价算法, 并构建出一种评价特征点稳定性的准则, 以指导选取合适的退化模型.实验结果表明本文所提出的点特征适配性评价机制能有效地度量指定SAR图像的适配性, 从而近似得出保障图源的适配性排序结果.     

一种新型遥感图像配准方法

提出了一种新型全自动稳健的遥感图像配准算法。首先,在图像二维平面空间和尺度空间中同时检测局部极值作为特征点,并在特征点邻域提取局部不变特征描述子一尺度不变特征变换（SIFT）。然后,利用距离测度进行SIFT特征匹配得到初步的匹配集合。最后,运用稳健的随机采样一致性（RANSAC）算法将匹配点集划分为内点和外点,在内点域上精确地估计出图像变换模型。实验利用仿真数据测试了SIFT特征的可重复性和可匹配性,利用卫星图像验证了该自动配准算法的有效性和稳健性。     

结合SIFT和Delaunay三角网的遥感图像配准算法

针对高分辨率遥感图像中提取的特征点数目过大且易存在误匹配点的问题,提出了一种粗配准和精配准相结合的高分辨率遥感图像配准算法.首先对图像降采样处理后,提取大尺度空间下的SIFT特征点,求得仿射变换模型完成图像粗配准;然后对图像进行分块,利用SIFT方法对每幅子块图像提取特征点,并找到对应子块图像之间的匹配点对;之后利用特征点构建Delaunay三角网,计算每对子块图像之间的三角形相似度,构成相似矩阵,从中挑选相似度大的三角形对以构成精确匹配点对;最后利用得到的精确匹配点对实现最终的图像配准.该算法能够减少提取的特征点数且剔除更多的错误匹配点,从而进一步提高精确匹配点率.实验结果表明了算法的有效性.     

有约束Patch-Match框架下的非刚体匹配算法

目的 非刚性物体进行匹配时,往往需要对图像中存在的非刚性形变目标进行快速精确的配准,进而实现对图像的后续处理和分析,实现快速而准确的非刚体匹配显得尤为重要。针对传统特征点匹配方法在非刚性物体匹配中准确性差的问题,本文提出了一种基于DAISY算子和有约束Patch-Match的非刚体密集匹配算法。方法 首先对参考图像和待匹配图像生成DAISY特征描述子,其次对两幅图像进行超像素分割,形成相互邻接但没有重叠的超像素块结构,并以其为单元,计算初始位置上对应每一个像素的DAISY特征算子聚合代价。然后,采用Patch-Match算法对整幅图像进行传播和变异,在变异过程中,通过图像预处理和分析得到的先验知识对位置标签的变异窗口进行局部空间约束,使得每个像素的位置标签在该空间范围内随机更新,计算新的聚合代价,保留代价较小的位置标签,重复迭代此过程,直到聚合代价不发生变化或者达到最大迭代次数为止。结果 实验选取了标准数据集、10幅分别由TFDS（the trucking fault dynamic image detection system）线阵列相机和框幅式相机采集的包含非刚体的图像进行匹配,均取得了较好的匹配效果,经验证,本文方法的匹配精度为86%,误匹配点的平均匹配误差为5个像素左右,是传统基于SIFT特征光流匹配方法误差的一半,并且本文采用的DAISY算子在特征提取速度上是Dense SIFT（dense scale invariant feature transform）特征提取算法的2~3倍,大大提升了图像匹配的效率。结论 本文提出了一种非刚体密集匹配算法,针对非刚体变化的不确定性采用密集特征点进行最优化搜索匹配。本文算法对包含小范围非刚性变化的图像匹配上具有较好的适应性,且匹配精度高,视觉效果好,鲁棒性强。     

基于改进的尺度不变特征变换特征点匹配的电子稳像算法

针对传统尺度不变特征变换（SIFT）算法运算量大的问题,提出了一种改进的SIFT特征点匹配算法。首先介绍了SIFT特征向量的提取过程,并对算法进行了改进,在单尺度空间内提取目标的关键点,并形成34维特征向量,来代替传统SIFT算法生成的128维特征向量,使算法的实时性得到较大的提高,同时又保持了配准精度,最后将提出的改进SIFT特征应用于电子稳像中的全局运动估计中,并通过实验验证了算法的性能。     

一种基于SIFT特征的快速逐层遥感图像配准方法

当前SIFT特征分层配准方法中存在特征点匹配复杂度高以及不同时相地物变化导致特征点误匹配等问题,提出一种基于SIFT特征的“低分辨率配准\,高分辨率验证”快速逐层遥感图像配准方法。该方法针对同源同分辨率不同时相的遥感图像,通过在金字塔的低分辨率图层匹配特征点对并建立仿射变换模型,在金字塔的高分辨率图层评估并修正模型。实验表明：提出的方法在保证配准精度的前提下,有效提高了配准算法的效率。
     

多时相星载SAR图像精配准技术研究

介绍了一种多时相星载SAR精配准的技术方法，首先根据人工粗配准解决图像的旋转和尺度不一致，然后采用特征点提取算子和图像匹配的方法检测两时相SAR图像上的同名特征点，根据特征点构建不规则三角网最终实现图像的精确配准。通过多对星载SAR图像进行了精配准处理，采用定性和定量检验，表明该方法能达到很高的配准效果，配准精度优于一个像素。

     

基于SIFT特征的眼底图像自动拼接

针对眼底图像对比度低、不同视场的图像间存在几何畸变等特点,提出一种基于SIFT特征的眼底图像自动拼接算法。该算法分别提取待拼接眼底图像的SIFT特征点,并用向量进行描述,确定两幅图像特征点的匹配关系,使用MLESAC算法去除误匹配点对,提出对特征点对提纯的距离-斜率相似测度方法,计算匹配点之间的透视变换矩阵,最后进行图像配准和拼接。对实际眼底照相机获取的多幅图像拼接结果表明,该算法具有很好的鲁棒性和稳健性,可以实现眼底图像的高精度自动拼接。     

SAR图像尺度不变特征提取方法研究

与光学图像相比,SAR图像噪声干扰明显增强,导致光学图像处理领域中常用的尺度不变特征提取算法的稳定性在SAR图像中明显下降。为此,提出一种基于Harris算子的SAR图像尺度不变特征提取方法。该方法首先将单尺度图像特征点检测中具有良好稳定性的Harris算子拓展到多尺度图像域,并结合Harris算子极值点的稳定性分析实现尺度不变特征定位,以提高特征定位的稳定性。进而采用迭代滤波器取代传统卷积滤波器完成特征定位中所需高斯滤波操作,以提高特征定位的速度。最后利用特征点邻域内的像素梯度信息完成了特征描述字的构造。SAR图像实测数据验证表明,与其他尺度不变特征提取算法相比,本文算法具有更优的稳定性。