SIFT与形状上下文结合的异源图像匹配算法

针对红外图像和可见光图像灰度差异大、匹配困难的问题,提出了一种基于改进的尺度不变特征变换和形状上下文描述的局部多特征匹配算法。首先通过高斯差分检测算法分别提取两幅图像的特征点;针对特征点梯度方向存在反转现象,结合梯度镜像方法对特征点统计特征点邻域梯度方向信息;然后引入图像边缘特征生成形状上下文描述子,与梯度方向描述子级联成联合描述子;最后采用欧氏距离和卡方距离加权的联合距离和最近邻算法对特征点进行匹配。实验结果证明,在红外图像和可见光图像匹配中,该算法相比原始SIFT算法能有效减少误匹配特征点对,达到较高的匹配精度。     

基于SLPP-SHOG的红外图像车辆检测方法

针对红外图像的车辆检测,结合梯度方向直方图(HOG)特征与监督保局投影(SLPP),提出单帧图像车辆检测算法。首先,为增强特征描述能力、提高检测性能,在不增加特征维数的情况下,利用图像分割将区域的轮廓信息、灰度信息融入HOG特征中;其次,针对传统HOG特征维度过高,影响车辆检测效率以及准确率的问题,采用SLPP对提取的SHOG特征进行降维;最后,利用极限学习机(ELM)对样本图像的低维特征进行训练得到ELM分类器,实现车辆检测。本文以实拍红外图像作为实验数据,实验结果显示:针对红外图像的车辆检测,本文算法的检测性能较好,与原始HOG特征相比,本文所提SLPP-SHOG特征的特征维数由1764降至30,检测准确率升高16.03%,F1-measure提高了8.79%,检测时间由5.7 ms降至2.6 ms。     

基于SURF-HOG与显著性特征的红外可见光图像配准融合北大核心CSCD

针对现有红外与可见光图像配准不精确,边缘及细节纹理缺失,融合时间较长,不能突出重点目标等不足,提出一种基于SURF-HOG描述符与红外显著性特征的红外与可见光图像融合方法。首先,在红外与可见光图像配准阶段,在SURF(Speed-Up Robust Features,SURF)框架内构建基于HOG(Histogram of Oriented Gradient,HOG)的特征点描述符,并通过NNDR(Nearest Neighbor Distance Ratio,NNDR)进行红外与可见光图像的特征点匹配;其次,在显著特征提取阶段,先通过四叉树算法对源红外图像分解,然后通过贝塞尔插值法重建红外图像背景,接着分别对红外图像中的背景及目标进行自适应抑制以提取目标红外显著性特征;最后,结合已配准的可见光图像与重建后的红外图像以获取最终融合结果。实验结果表明,所提方法对不同场景下的红外与可见光图像具有较高的配准精度,不同场景下的融合结果不但主观视觉上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间最短,并且在客观评价指标上也取得了较好的效果。     

基于仿射梯度方向直方图特征的目标识别算法

针对基于传统梯度方向直方图特征的目标识别算法(HOG+SVM)在目标发生仿射变化时识别效果较差的问题,该文提出一种基于仿射梯度方向直方图特征的目标识别算法(AHOG+SVM).通过提取多尺度金字塔梯度图像的 HOG 特征,提高了算法的尺度不变性;通过将平面 HOG 栅格拓展至3维 HOG 栅格,并根据目标的世界坐标系与图像坐标系的映射关系将3维 HOG 栅格映射为2维 HOG 仿射栅格,最后对仿射栅格内的 HOG 特征进行仿射逆变换,以达到增强算法旋转不变性与错切不变性的目的.多组实验结果表明,该文提出的算法能够解决在目标识别过程中由尺度变化、旋转变化和错切变化(3D 视角变化)所造成的识别率较低的问题,性能优于 HOG+SVM算法.     

基于梯度方向直方图的红外与可见光融合网络的损失函数

基于深度学习的图像融合方法实现了良好的图像融合性能，近年来经过快速发展，被广泛应用于生物特征识别、自动驾驶和目标追踪等方面。深度学习网络在提取图像的重要纹理细节和保存重要信息等方面依然存在许多挑战。因此，提出了一种适用于红外与可见光图像融合网络的损失函数，在损失函数中引入了梯度方向直方图（HOG）损失，HOG特征可以反映图像局部的梯度方向和梯度大小，用HOG特征作损失函数可以提升网络提取图像细节信息的能力。将HOG损失与多尺度结构相似性损失相结合，用设计的损失函数训练了NestFuse、Res2Fusion和UNFusion 3个红外与可见光图像融合网络。在TNO数据集上，所提模型将融合图像的标准差（SD）分别提高2.1476%、1.2273%和1.4444%，将融合图像的视觉信息保真度（VIF）分别提高1.6529%、1.4936%和1.2902%；在RoadScene数据集上，所提模型将融合图像的SD分别提高1.0083%、1.1669%和0.7214%，将融合图像的VIF分别提高1.8093%、1.8063%和1.0406%。实验结果表明，所提损失函数可以从源图像中提取更多有效信...     

基于多尺度红外与可见光图像配准研究

利用尺度空间理论对多分辨率的红外与可见光图像配准算法进行研究,提出利用红外与可见光图像的多尺度特征点及边缘作为配准的特征,利用特征尺度确定用于相似度匹配的子图像大小,使用LTS-Hausdorff(least trimmed square Hausdorff)距离判断子图像的相似性。利用尺度空间理论及多尺度下图像的特征能更加全面的对图像进行描述。在利用多尺度特征获取到匹配对后,再利用随机一致性检测对匹配对进行提纯并获取空间变换的参数,然后使用该参数对红外与可见光图像进行配准与融合。实验结果表明,基于多尺度的图像配准方法,能有效对红外与可见光图像进行配准。     

基于相位一致性的异源图像匹配方法

异源图像由于亮度和对比度差异较大,采用基于灰度和梯度信息的局部特征匹配方法匹配正确率较低。针对该问题,提出一种基于相位一致性和梯度方向直方图的异源图像匹配方法。该方法首先采用具有亮度和对比度不变性的相位一致性方法提取异源图像特征点和边缘图像,并以特征点为中心,选取100×100的边缘图像作为特征区域,统计梯度方向直方图,生成64维特征描述符;然后,选用归一化相关函数作为匹配测度,采用双点匹配方法选取一个特征点的两个较优的候选匹配点,并采用RANSAC方法进行匹配点提纯;最后,基于局部归一化互信息方法和最优化方法进行匹配点精确定位,提高匹配精度。实验结果表明,该方法在可见光、近红外、中波红外和长波红外等异源图像匹配中具有较好的匹配性能,平均匹配正确率高达88%,是SURF匹配方法的3.4倍。     

异步多特征红外与可见光图像匹配算法

针对红外与可见光图像特征点匹配的难题,提出了一种基于异步多特征的红外与可见光图像匹配算法。首先采用多尺度FAST －9角点检测算法进行特征点提取;而后,对提取的特征点构造主方向;再统计特征点邻域的梯度方向,构造一种类SIFT的特征点描述子;采用阈值宽松的最近邻匹配算法进行粗匹配;然后,提取特征点邻域边缘信息构造基于边缘的形状上下文描述子;最后采用相应的相似性度量算法对粗匹配结果进行提纯。实验结果表明,提出的算法对旋转、尺度、视角变换具有鲁棒性,且能够实现不同天候条件下的图像匹配,正确匹配率较SURF算法有明显提高。     

一种新的基于神经网络的景象匹配算法

介绍了误差逆传播(Back Propagation)神经网络的基本理论。为解决存在角度旋转实时图像的匹配问题,以及尽可能地提高匹配实时性能,提出了一种新的基于像素环形排列的神经网络匹配算法,将实时图像与基准图像内待匹配区域的像素按环形排列,分别作为神经网络的阈值和输入,选择基准图像内与实时图像相对应的各环差值均较小的区域中心作为匹配位置。实验结果证明了验证了该算法的良好匹配性能。     

基于斜率一致性的电气设备红外与可见光图像配准方法

针对电气设备同一场景间红外与可见光图像间难以 匹配的问题,提出了一种基于斜率一致性的图像配准方法。首先通 过基于多方向结构元素、不同权值的数学形态学边缘检测算法分别提取红外与可见光图像的 边缘,得到粗边缘图像; 然后通过SURF算法检测两幅边缘图像的特征点,根据正确的匹配点对之间斜率一致性的先 验知识,进行特征点匹配; 最后通过最小二乘法求得仿射变换模型参数实现两幅图像的配准。实验结果表明,本文方法 有效提高了匹配点对的正 确率,特征点的定位也更加精确,能够对电气设备红外和可见光图像实现高精度的配准 。     

基于扩散方程和相位一致的异源图像配准算法

针对同一场景下的红外与可见光图像特征点难以提取和匹配的问题,提出一种基于扩散方程和相位一致模型的红外与可见光图像的配准算法。首先提出了收敛速度更快的扩散方程,并用该方程对红外图像除噪;其次利用改进的相位一致模型提取红外与可见光图像的视觉相似性结构;在相似性结构上提取特征点,进行二进制描述;最后采用汉明距离实现特征点匹配。实验结果表明,该算法能够有效滤除红外与可见光图像的差异,减小计算开销的同时实现图像的自动配准。     

基于二代curvelet与wavelet变换的自适应图像融合

针对同一场景红外图像与可见光图像的融合问题,提出了一种基于二代curvelet与wavelet变换的自适应图像融合算法。首先对源图像进行快速离散curvelet变换,得到不同尺度与方向下的粗尺度系数和细尺度系数;根据红外图像与可见光图像的不同物理特性以及人类视觉系统特性,对不同尺度与方向下的粗尺度系数和细尺度系数采用基于离散小波变换的图像融合方法,在小波域中,对低频系数采用基于红外图像与可见光图像的不同物理特性的自适应融合规则,对高频系数采用基于邻域方向对比度与局部区域匹配度相结合的自适应融合规则,然后进行小波逆变换得到融合的curvelet系数;最后,进行快速离散curvelet逆变换得到融合图像。实验结果表明,该方法能够更加有效、准确地提取图像中的特征,是一种有效可行的图像融合算法。     

基于边缘图像和SURF特征的可见光与红外图像的匹配算法

利用灰度信息对可见光与红外图像进行匹配时,其效果受两类图像间灰度分布差异的影响。结合这两类图像的特征,提出了一种基于边缘图像和SURF(Speed-Up Robust Feature)特征的图像匹配方法。首先采用改进的三次B样条分别对两幅源图像进行边缘提取;然后利用SURF算法在边缘图像上进行特征点检测;再通过最近邻次近邻比值法对特征点进行粗匹配,最后利用对极几何约束的RANSAC算法剔除误匹配点对,从而实现图像的匹配。实验结果表明,在正确匹配率方面本文算法明显优于Canny边缘提取和SURF的匹配方法,具有一定的有效性。     

基于多尺度结构特征的快速异源图像匹配

针对异源图像提出一种基于多尺度密集结构特征的快速匹配算法。算法首先利用Gabor滤波器逐像素提取图像中的结构响应,再根据主方向响应对多尺度结构特征融合,然后使用快速傅里叶变换在频域计算各特征分量图像之间的卷积,最后将卷积生成的系数矩阵求和计算出图像之间的相似性并选择相似性最大位置作为匹配结果输出。本文算法能有效适应异源图像间的非线性灰度变化和噪声干扰问题。测试使用可见光、红外、雷达图像组成的异源图像数据集对本文算法和现有算法进行测试比较,结果表明:本文算法的平均误匹配率最低,并且计算速度有明显优势。     

基于LatLRR和PCNN的红外与可见光融合算法

针对光谱差异较大的红外与可见光图像，本文提出一种基于潜在低秩表示（LatLRR）和脉冲式耦合神经网络（PCNN）的多尺度融合模型。首先，该算法利用非下采样剪切波变换（NSST）获取图像的低频与高频分量。鉴于图像的低频分量决定最终的融合效果，采用LatLRR算法挖掘源图像内在的显著特征对低频分量自适应加权融合。除此外，针对决定融合图像细节的高频分量，则利用双通道PCNN模型作为它的融合规则。其中平均梯度算子（AVG）和方向梯度和算子（SDG）分别作为PCNN的外界刺激与链接强度，它们能更好地表征图像的纹理特性。通过上述全新的融合规则，可将包含在红外图像内部的显著性特征与可见光图像的梯度特征完美结合，从而获取具有优良视觉效果的融合图像。本文采用3种不同的场景来测试所提方法的融合性能，与其他典型融合方法相比，本文提出的算法具有更佳的视觉效果，同时客观评价参数值增加约2%~5%。     

基于多层次特征差异图的视觉场景识别

场景外观剧烈变化引起的感知偏差和感知变异给视觉场景识别带来了很大的挑战。现有的利用卷积神经网络（CNN）的视觉场景识别方法大多数直接采用CNN特征的距离并设置阈值来衡量两幅图像之间的相似性,当场景外观剧烈变化时效果较差,为此提出了一种新的基于多层次特征差异图的视觉场景识别方法。首先,一个在场景侧重的数据集上预训练的CNN模型被用来对同一场景中感知变异的图像和不同场景中感知偏差的图像进行特征提取。然后,根据CNN不同层特征具有的不同特性,融合多层CNN特征构建多层次特征差异图来表征两幅图像之间的差异。最后,视觉场景识别被看作二分类问题,利用特征差异图训练一个新的CNN分类模型来判断两幅图像是否来自同一场景。实验结果表明,由多层CNN特征构建的特征差异图能很好地反映两幅图像之间的差异,文中提出的方法能有效地克服感知偏差和感知变异,在场景外观剧烈变化下取得很好的识别效果。     

基于多目标优化的SIFT特征匹配算法

SIFT算子在实际应用中,由于地面图像本身特征不明显且提取出的特征点多、乱以及灰度变化不明显等特点的影响,从而导致特征点误匹配。为此提出一种改进的SIFT图像特征匹配算法。该算法是在SIFT特征匹配的基础上,利用多目标优化算法,建立相关匹配模板,利用给定同一场景的两幅图像,寻找同一场景点投影到图像中的模板之间的相关性建立数学模型即目标函数,根据同一幅图像中模板间的距离建立边界约束条件,从而剔除一些误匹配点。实验表明,该算法可以有效地提高图像匹配精度。     

基于图像绘制技术的红外场景模拟

红外场景模拟可为目标识别、跟踪提供必要的图像样本,对算法的训练、评估和可靠性检验具有十分重要的意义,基于建模的红外模拟方法不一定反映场景的客观情况,并且,计算量大、耗时,难于模拟出有真实感的红外图像。基于图像绘制技术,提出无需建模的基于图像的绘制方法来模拟红外场景图像,根据红外图像的特点,给出了计算基本矩阵的非线性迭代算法和基于特征约束的动态规划立体匹配算法。由于参考图集是实际图像,因此,模拟图像更符合景物的真实情况,并且,该方法无需很复杂的建模过程,利于实时模拟。实验结果表明,该方法可有效地模拟出真实感的红外图像。     

基于空间金字塔匹配的单目热成像深度估计

热成像能够反映场景的温度分布,对热成像进行深度估计,可以恢复出场景的三维温度场,在故障诊断、夜视导航等领域具有重要意义。本文提出一种面向单目热成像深度估计的非参深度采样方法。为了克服热像纹理缺乏、轮廓模糊的缺点,使用了空间金字塔匹配(Spatial Pyramid Matching,SPM)来进行热像的特征分析。首先,基于SPM特征匹配,从数据库中筛选出与待估计深度的热像具有相似场景的候选热像;然后,采用SIFT Flow变形算法对候选热像的深度图进行采样,并将深度信息传递给待估计的热像。实验结果表明,这种方法能够对单目热像进行有效的深度估计,与同类算法相比具有明显优势。     

基于非采样Contourlet变换的图像融合算法

针对同一场景的红外与可见光图像融合问题,提出了一种基于非采样Contourlet变换的图像融合方法。该方法对图像经非采样Contourlet变换后的低频系数采用基于图像物理特征的“加权平均”融合方法;对于高频系数采用基于局部对比度与空间频率比相结合的系数融合方法。为验证本文算法的有效性,对红外与可见光图像进行了融合实验,实验结果表明该方法相对于传统的简单融合方法以及基于区域能量的融合方法能得到具有更好视觉效果和更优量化指标的融合图像。