对数极坐标系下尺度不变特征点的检测与描述

目的 当前国际流行的SIFT算法及其改进算法在检测与描述特征点时基于高斯差分函数,存在损失图像高频信息的缺陷,从而导致图像匹配时其性能随着图像变形的增加而出现急剧下降。针对SIFT算法及其改进算法的这一缺陷,本研究提出了一种新的无图像信息损失的、在对数极坐标系下的尺度不变特征点检测与描述算法。方法 本研究提出的尺度不变特征点检测与描述算法首先将直角坐标系下以采样点为中心的圆形图块转换为对数极坐标系下的矩形图块,并以此矩形图块为基础对采样点进行特征点检测与描述符提取;该算法使用固定宽度的窗口在采样点的对数极坐标径向梯度图像的log_t^r轴上进行移动以判断该点是否为特征点并计算该点的特征尺度,并在具有局部极大窗口响应的特征尺度位置处提取特征点的描述符。该算法的描述符基于对数极坐标系下的矩形图块的灰度梯度的幅值与角度,是一个192维向量,并具有对于尺度、旋转、光照等变化的不变性。结果 本研究采用INRIA数据组和Mikolajczyk提出的匹配性能指标对SIFT算法、SURF算法和提出的尺度不变特征点检测与描述算法进行比较。与SIFT算法和SURF算法相比,提出的尺度不变特征点检测与描述算法在对应点数、重复率、正确匹配点数和匹配率等方面均具有一定优势。结论 提出了一种基于对数极坐标系的图像匹配算法,即将直角坐标系下以采样点为中心的圆形图块转换为对数极坐标系下的矩形图块,这样在特征点的检测过程中,可以有效规避SIFT算法因为采用DoG函数而造成的高频信息损失;在描述符提取过程中,对数极坐标系可以有效地减少图像的变化量,从而提高了匹配性能。     

LoVPE 3维局部特征描述子

目的 局部特征描述子在3维目标识别等任务中能够有效地克服噪声、不同点云分辨率、局部遮挡、点云散乱分布等因素的干扰,但是已有3维描述子难以在性能和效率之间取得平衡,为此提出LoVPE（局部多视点投影视图相关编码）特征描述子用于复杂场景中的3维目标识别。方法 首先构建局部参考坐标系,将世界坐标系下的局部表面变换至关键点局部参考坐标系下的局部表面;然后绕局部参考坐标系各坐标轴旋转K个角度获得多视点局部表面,将局部表面内的点投影至局部参考系各坐标平面内,投影平面分成N×N块,统计每块内投影点的散布信息生成特征描述向量;最后将各视点特征描述向量进行两两视图对相关编码得到低维度特征描述向量,采用ZCA（零项分量分析）白化降低特征描述向量各维间相关性得到LoVPE描述子。结果 在公用数据集上进行不同描述子对噪声、不同分辨率、遮挡及杂波等干扰鲁棒性的特征匹配实验,实验结果表明,提出的描述子特征匹配率与现有最佳描述子处于同等水平,但保持了较低的特征维度和较高的计算效率,维度降低约1半、特征构建及特征匹配时间缩短为现有最佳描述子的1/4。结论 提出一种新的3维局部特征描述子,具有强描述能力,对噪声、不同网格分辨率、遮挡及杂波等具有强鲁棒性,存储消耗较少且计算效率较高,该方法适用于模型点云及真实点云数据,可用于复杂场景中的3维目标识别。     

二值化的SIFT特征描述子及图像拼接优化

目的 针对SIFT算法计算复杂度高、存储开销大和近几年提出的BRIEF（binary robust independent elementary features）、ORB（oriented BRIEF）、BRISK（binary robust invariant scalable keypoints）和FREAK（fast retina keypoint）等二进制描述子可区分性弱和鲁棒性差的问题,提出基于SIFT的二进制图像局部特征描述子。方法 首先,对传统SIFT的特征空间和特征向量分布在理论和实验上进行分析,在此基础上结合二进制特征描述子的优势对SIFT进行改进。不同于传统的二进制特征描述子,本文算法对传统SIFT特征向量在每一维上的分量进行排序后,以该特征向量的中值作为量化阈值,将高维浮点型SIFT特征向量转化成位向量得到二进制特征描述子。并使用易于计算的汉明距离代替欧氏距离度量特征点间的相似性以提高匹配效率。然后,在匹配阶段将二进制特征描述子分为两部分并分别对其进行匹配,目的是通过初匹配剔除无效匹配特征点来进一步缩短匹配时间。最后,对提出的量化算法的可区分性及鲁棒性进行验证。结果 该量化算法在保持SIFT的较强的鲁棒性和可区分性的同时,达到了低存储、高匹配效率的要求,解决了SIFT算法的计算复杂度高、二进制描述子鲁棒性和可区分性差的问题。此外,在匹配阶段平均剔除了77.5%的无效匹配特征点,减少了RANSAC（random sample consensus）的迭代次数。结论 本文提出的量化算法可用于快速匹配和快速图像拼接中,提高匹配和拼接效率。     

精确局部特征描述的表情识别

目的 针对传统局部特征提取方法在表情识别上的局限性,提出一种精确局部特征描述的表情识别方法。方法 首先将人的眉毛、眼睛和嘴巴3个对表情识别起关键作用的器官分割出来,使得特征描述更具有针对性。然后,构造充分矢量三角形以统计图像的轮廓特征与细节特征。最后,对于不同的表情器官采用不同尺度的充分矢量三角形描述,对于同种表情器官采用多种尺度的充分矢量三角形联合描述,从而充分描述关键器官的图像信息。结果 该算法在日本女性表情人脸库(JAFFE)、cohn-kanade库(CK)以及Pain expressions库上进行实验,分别取得了95.67%、97.83%、84.0%的平均识别率以及11.70 ms、30.23 ms、11.73 ms的平均特征提取时间,实验结果表明,精确局部特征描述的表情识别方法可以较快、较准确的进行人脸表情识别。结论 精确局部特征描述的表情识别方法通过器官的分割以及充分矢量三角形模式的构造与灵活运用,良好地表达了图像的局部特征且具有较低的时间复杂度,本文算法与目前典型的表情识别算法的实验对比结果也表明了本文算法的有效性。     

随机亮度差量化的二进制特征描述

目的 传统的基于浮点型向量表示的图像局部特征描述子（如SIFT、SURF等）已经成为计算机视觉研究和应用领域的重要工具,然而传统的高维特征向量在基于内容的大规模视觉检索应用中存在着维度灾难的问题,这使得传统浮点型视觉特征在大规模多媒体数据应用中面临严峻挑战。为了解决浮点型特征的计算复杂度高以及存储空间开销大的问题,越来越多的计算机视觉研究团队开始关注和研究基于二进制表达的局部特征并取得了重要进展。方法 首先介绍了二进制特征的相关工作,并对这些方法进行了分类研究,在此基础上提出了基于亮度差量化的特征描述算法。有别于传统二进制特征描述算法,本文算法首先对图像局部进行随机像素点对采样,并计算像素点对之间的亮度差,通过对亮度差值作二进制量化得到图像的局部二进制特征。结果 本文算法在公共数据集上与目前主流的几种二进制特征提取算法进行了比较评价,实验结果表明,本文二进制特征在特征匹配准确率和召回率上超过目前主流的几种二进制描述子,并且同样具有极高的计算速度和存储效率。结论 通过实验结果验证,本文二进制特征在图像条件发生变化时仍然能保持一定的鲁棒性。     

增强成对旋转不变的共生扩展局部二值模式

目的 针对成对旋转不变的共生局部二值模式（PRICoLBP）算法对图像光照、旋转变化鲁棒性较差,且存在特征维度过大的问题,提出了一种可融合多种局部纹理结构信息的有效特征——增强成对旋转不变的共生扩展局部二值模式。方法 首先,对图像各像素点的邻域像素点灰度值进行二值量化得到二值编码序列,并不断旋转二值序列得到以不同邻域点作为编码起始点对应的LBP值;然后,分别利用极大、极小LBP值对应的邻域起始编码点和中心像素点确定两个方向矢量,并沿这两个方向矢量在两个不同尺度图像上选取上下文共生点;其次,利用扩展局部二值模式（ELBP）算法的旋转不变均匀描述子来提取上下文共生点对的中心像素灰度级、邻域像素灰度级及径向灰度差异特征间的相关性信息;最后,用上下文共生点对的特征直方图训练卡方核支持向量机,检测纹理图像类别。结果 通过对Brodatz、Outex （TC10、TC12）、Outex （TC14）、CUReT、KTH-TIPS和UIUC纹理库的分类实验,改进算法的识别率比原始的PRICoLBP算法识别率分别提高了0.32%、0.57%、5.62%、3.34%、2.1%、4.75%。结论 利用像素点LBP特征极值对应的起始编码序列来选取上下共生点对,并用ELBP算法提取共生点对局部纹理信息,故本文方法能更好描述共生点对间的高阶曲率信息及更多局部纹理信息。在具光照、旋转变化的Outex、CUReT、KTH-TIPS纹理库图像分类实验中,所提方法比原始PRICoLBP算法取得了更高的识别率。实验结果表明,改进算法相比于原始算法能在较低的特征维度下对图像光照、旋转变化具有较好的鲁棒性。     

局部图像描述符最新研究进展

目的 局部图像描述符广泛应用于许多图像理解和计算机视觉应用领域,如图像分类、目标识别、图像检索、机器人导航、纹理分类等。SIFT算法的提出标志着现代局部图像描述符研究的开始。主要对最近发展的现代局部图像描述符进行了综述。方法 首先,介绍了4大类局部图像描述符:局部特征空间分布描述符、局部特征空间关联描述符、基于机器学习的局部描述符、扩展局部描述符(局部颜色描述符、局部RGB-D描述符、局部空时描述符)。对局部图像描述符进行了分析和分类,并总结了局部图像描述符的不变性、计算复杂度、应用领域、评价方法和评价数据集。最后,展望了局部图像描述符的未来研究方向。结果 近年来局部图像描述符研究取得了很大进展,提出了很多优秀的描述符,在辨别性、鲁棒性和实时性方面有了很大提高,应用领域不断拓展。结论 局部图像描述符应用广泛,是计算机视觉领域的重要基础研究。而目前,局部图像描述符还存在许多问题,还需进一步的深入研究。     

局部特征及视觉一致性的柱面全景拼接算法

目的 传统的基于平面拼接算法生成的全景图像存在严重的失真问题,很难保证良好的视觉一致性;而普通柱面拼接算法无法较好地满足实时性要求。为此,提出一种基于改进SIFT（scale-invariant feature transform）特征描述子的柱面全景图像拼接算法。方法 首先将待拼接的图像序列进行柱面投影,利用改进的SIFT特征检测器获取图像中的特征点,生成64维SIFT特征描述子;然后根据特征描述子之间的欧氏距离提取初始特征点对,利用RANSAC（random sample consensus）方法进一步剔除伪匹配特征点对并建立待拼接图像之间的空间变换矩阵;最后根据图像之间的空间变换矩阵进行图像配准,采用加权平均融合的方法完成图像的无缝拼接。结果 本文全景图拼接算法,可以有效地克服平面拼接算法存在的失真问题,保证了全景图像的视觉一致性。同时,相比普通柱面拼接算法,本文算法的拼接速度提高了近一倍。结论 通过对不同尺寸和数量的图像序列构建全景图,相对于平面拼接算法和普通柱面拼接算法,本文算法可以有效实现图像之间的拼接,生成宽视野、高分辨率的全景图像,且能够应用于对实时性要求比较高的图像拼接场合。     

结合径向线的局部遮挡下的3维人脸识别

目的 3维人脸点云的局部遮挡是影响3维人脸识别精度的一个重要因素。为克服局部遮挡对3维人脸识别的影响,提出一种基于径向线和局部特征的3维人脸识别方法。方法 首先为了充分利用径向线的邻域信息,提出用一组局部特征来表示径向线;其次对于点云稀疏引起的采样点不均匀,提出将部分相邻局部区域合并以减小采样不均匀的影响;然后,利用径向线的邻域信息构造代价函数,进而构造相应径向线间的相似向量。最后,利用相似向量来进行径向线匹配,从而完成3维人脸识别。结果 在FRGC v2.0数据库上进行不同局部特征识别率的测试实验,选取的局部特征Rank-1识别率达到了95.2%,高于其他局部特征的识别率;在Bosphorus数据库上进行不同算法局部遮挡下的人脸识别实验,Rank-1识别率达到了最高的92.0%;进一步在Bosphorus数据库上进行不同算法的时间复杂度对比实验,耗费时间最短,为8.17 s。该算法在准确率和耗时方面均取得了最好的效果。结论 基于径向线和局部特征的3维人脸方法能有效提取径向线周围的局部信息;局部特征的代价函数生成的相似向量有效减小了局部遮挡带来的影响。实验结果表明本文算法具有较高的精度和较短的耗时,同时对人脸的局部遮挡具有一定的鲁棒性。该算法适用于局部遮挡下的3维人脸识别,但是对于鼻尖部分被遮挡的人脸,无法进行识别。     

电力巡线无人机航拍图像匹配算法研究

基于局部特征的图像匹配算法是电力巡线无人机航拍图像匹配算法中最为实用的一种方法。针对传统匹配算法构建尺度空间会致使图像边缘信息丢失或者效率较低等问题,提出一种基于高斯曲率尺度空间的航拍图像匹配算法。借助高斯曲率滤波器构建一阶尺度空间,利用FAST算法提取特征点并选择特征采样区域,再以对特征采样区域建立二阶尺度空间并提取二阶尺度空间层内LIOP描述符,随后二阶尺度空间两两层LIOP描述符做差值并二值化处理,累加二值化值得到ASV-LIOP描述符完成匹配。在航拍图像上,使用SIFT、ORB、KAZE、AKAZE、改进KAZE等算法与所提对比实验,实验表明,所提算法正确匹配率平均提高5%左右,匹配效率约降低50%,可应用对稳定性要求较高且实时性较低的场景。     

增强局部量化模式人脸识别算法

针对局部二值模式没有考虑邻域点之间的关系以及局部序数模式（LIOP）的邻域点数过少不足,提出一种利用大邻域范围内邻域点间序数信息的特征提取算法。该算法首先以类似LIOP编码的方式得到的邻域特征向量,然后应用[k]均值聚类算法降低特征向量的主模数量。同时此聚类过程可以离线进行并且运行十分高效;最终将级联直方图特征作为人脸特征向量。实验结果表明,该方法的鲁棒性和识别率均优于对比算法。最后应用WPCA算法既降低特征维数又提升了算法的识别率。     

针对重复模式图像的成对特征点匹配

目的 含有重复模式的图像会对局部特征描述符产生歧义,因此基于局部特征的匹配算法在此类图像的匹配过程中极易产生误匹配.同时,通过研究现有的引入全局特征描述符的匹配算法,发现全局特征同样依赖于计算局部信息所得到的特征点主方向,所以此类方法在含有重复模式的图像中也不容易得到令人满意的匹配效果.为了解决这一问题,提出一种基于成对特征点的图像匹配算法.方法 该方法利用成对特征点的方向向量作为特征点对的主方向,为特征描述提供了正确的方向信息,同时引入DAISY描述符与改进后的全局上下文(globalcontext)特征描述符,提高了匹配能力.结果 分别在模拟图像与实际图像上面进行了对比匹配实验,本文算法平均的匹配正确率能达到88％以上,比其他经典的匹配算法提高了26％以上.结论 实验结果表明,本文算法克服了现有算法在特征描述与主方向分配上的缺陷,进一步提升了匹配正确率,能够有效地解决重复模式图像的匹配问题.     

字典重建和空间分布关系约束下的特征选择与图像拼接

目的 针对大型图像检索领域中,复杂图像中SIFT特征描述子的冗余和高维问题,提出了一种基于字典重建和空间分布关系约束的特征选择的方法,来消除冗余特征并保留最具表现力的、保留原始空间结构性的SIFT特征描述子。方法 首先,实验发现了特征选择和字典学习方法在稀疏表示方面的内在联系,将特征选择问题转化为字典重构任务;其次,在SIFT特征选择问题中,为了保证特征空间中特征的鲁棒性,设计了新型的字典学习模型,并采用模拟退火算法进行迭代求解;最后,在字典学习的过程中,加入熵理论来约束特征的空间分布,使学习到的特征描述子能最大限度保持原始SIFT特征空间的空间拓扑关系。结果 在公开数据集Holiday大型场景图片检索数据库上,通过与国际公认的特征选择方法进行实验对比,本文提出的特征选择方法在节省内存空间和提高时间效率（30%~ 50%）的同时,还能保证所筛选的特征描述子的检索准确率比同类特征提高8%~ 14.1%;在国际通用的大型场景图片拼接数据库IPM上,验证本文方法在图像拼接应用中特征提取和特征匹配上的有效性,实验表明本文方法能节省（50% ~70%）图像拼接时间。结论 与已有的方法比较,本文的特征选择方法既不依赖训练数据集,也不丢失重要的空间结构和纹理信息,在大型图像检索、图像拼接领域和3D检索领域中,能够精简特征,提高特征匹配效率和准确率。     

双空间局部方向模式的人脸识别

目的 针对传统局部方向模式（LDP）在特征提取的充分性、对光照和噪声等的鲁棒性以及识别时间长短这3方面不能同时取得一个很好的平衡效果,提出了一种双空间局部方向模式（DSLDP）的人脸识别方法。方法 首先,将图像3×3邻域像素灰度值与8个Kirsch模板算子卷积,得到8个方向的边缘响应值,然后,将近邻边缘响应值之间相应作差,对应8个方向的边缘响应差值,将两组值取绝对值,取各自最大值的方向编码成一个二位八进制数,产生DSLDP码。最后,在人脸描述阶段将人脸图像进行分块并把每块转换成DSLDP图,再对DSLDP图进行直方图统计,并利用信息熵对每块进行加权,将所有子块的直方图连接生成人脸特征,再通过PCA进行降维,用最近邻分类器分类识别。结果 在剑桥大学Olivetti实验室（ORL）、Aleix Martinez and Robert Benavente （AR）和中国科学院（CAS-PEAL）的人脸图像数据库进行实验,相比局部方向模式（LDP）、显著型局部方向模式（SLDP）、增强型局部方向模式（ELDP）、局部方向数字模式（LDN）、差值型局部方向模式（DLDP）、中心对称局部方向模式（CSLDP）和梯度中心对称局部方向模式（GCSLDP）,DSLDP具有更好的识别性能。5幅测试样本时,在ORL库上取得了97.82%的平均识别率,在AR光照、表情、遮挡A和遮挡B库分别取得了98.00%、98.33%、99.33%、87.67%的平均识别率,在CAS-PEAL光照、表情和饰物库分别取得了99.33%、95.33%、90.00%的平均识别率。结论 1）该方法既考虑了近邻边缘响应值的外在变化,也考虑了近邻边缘响应值之间的内在变化,通过将强度空间和梯度空间人脸特征信息结合使人脸特征得到更加充分的提取。2） DSLDP只考虑邻边缘响应值和边缘响应差值的最大值情况,突出了主要边缘梯度信息,同时又避免了不重要信息的干扰,相比同类基于局部方向模式的单一人脸识别算法,对光照、表情、噪声、遮挡等情况表现出更强的鲁棒性。3） DSLDP码是由二位八进制数构成,特征模式数降低到64,识别时间明显降低。因此,DSLDP算法能同时在识别效果,稳定性和识别时间上取得一个较好的平衡效果。     

基于优化采样模式的紧凑而快速的二进制描述子

进一步挖掘图像补丁特征信息,提出了一种鲁棒性更高的二进制描述子. 针对传统的二进制描述子对旋转和视角变化鲁棒性差的问题,本文通过优化采样模式和分解图像补丁对其改进. 首先,通过对最新提出的采样模式特点的分析、测试,发现采样点密度和平滑重叠度对产生的描述子独特性有重要影响;据此,调整这两个影响因子,设计出一种优化的采样模式. 其次,利用像素点灰度值排序方法分解图像补丁,产生多个对应不同灰度段的亚补丁. 最后,将优化的采样模式映射到亚补丁上,随机提取样本点进行灰度值比较测试.所得到的二进制描述子不仅包含了补丁像素的灰度比较信息,而且包含了灰度排序信息. 通过对比实验看到本文的二进制描述子对特征识别匹配效果最好.本文的特征描述方 法可应用于实时性要求高、内存紧凑的高质量目标识别.