目标鲁棒识别的抗旋转HDO局部特征描述

主方向直方图（Histograms of dominant orientations,HDO）是一种简单但性能优良的局部图像描述子,但是,原有的HDO特征描述不具备旋转不变性.本文提出一种抗旋转变换HDO特征描述方法,在进行RGT（Radial gradient transform）变换后,采用圆形邻域计算给定位置的结构张量,使得求取的主方向和一致性特征分量具备一定的旋转不变性,最后为增强辨别能力,采用了多扇区划分空间池化操作.在公开的MIT人脸数据集中的测试结果显示,如果图片不旋转,本文方法准确率与传统的HDO算法基本持平,达到92.10%,但当样本图片旋转后,本文算法准确率比传统HDO算法高10.36%.此外,在行人数据集、合成的旋转手掌和旋转人脸识别实验中,本文方法的检测结果也明显优于传统的HDO算法.另外本文方法在53Objects、ZuBuD和Kentuky三个数据集上的识别性能也优于大部分现有抗旋转算子.     

基于Gabor和二值叠加CS-LBP特征的人脸表情识别

在表情识别中Gabor结合局部二值模式（LBP）的特征提取方法以及直方图统计降维虽然是较为局部化的方法,但LBP鲁棒性较差,识别精度不高,而且使用直方图统计来区分表情,其计算复杂度和特征维数依旧较高。中心对称局部二值模式（CS-LBP）与LBP相比具有较好的鲁棒性,但其对表情纹理细节的描述仍不够详细。因此提出基于Gabor结合改进的CS-LBP即二值叠加中心对称局部二值模式（二值叠加CS-LBP）的特征提取方法。用Gabor提取特征,同时用两种计算方式提取两个特征值并叠加,作为最终识别的特征;并通过离散余弦变换（DCT）降维,有效降低表情的特征维数。在JAFFE表情库中实验验证了该方法能有效提高识别精度。     

基于VGG-NET的特征融合面部表情识别

为了解决在面部表情特征提取过程中卷积神经网络CNN和局部二值模式LBP只能提取面部表情图像的单一特征,难以提取与面部变化高度相关的精确特征的问题,提出了一种基于深度学习的特征融合的表情识别方法。该方法将LBP特征和CNN卷积层提取的特征通过加权的方式结合在改进的VGG-16网络连接层中,最后将融合特征送入Softmax分类器获取各类特征的概率,完成基本的6种表情分类。实验结果表明,所提方法在CK+和JAFFE数据集上的平均识别准确率分别达到了97.5%和97.62%,利用融合特征得到的识别结果明显优于利用单一特征识别的效果。与其他方法相比较,该方法能有效提高表情识别准确率,对光照变化更加鲁棒。     

基于变差函数和局部方差图的煤岩图像纹理特征提取

针对现有煤岩纹理特征提取采用局部二值模式算法存在分类准确率欠佳、算法运行效率较低及旋转纹理识别鲁棒性较差等缺陷,提出了一种基于变差函数和局部方差图的煤岩纹理特征提取算法。该算法首先在局部二值模式理论框架中逐像素计算局部方差得到局部方差图,然后在局部方差图中利用变差函数计算不同方向的变差函数向量,最后组合变差函数向量作为纹理特征,将所提取特征与局部二值模式特征融合完成煤岩纹理分类与识别。实验结果表明,该算法能够有效地提取局部方差的空间分布信息,实现对局部二值模式丢失信息的再利用,分类结果优于多种经典的局部二值模式纹理特征提取算法,分类准确率达到86%。     

基于特征融合的人脸表情识别研究

针对现有的人脸表情识别方法易受到光照、噪声等因素的影响导致识别率较低的问题,本文提出了一种基于特征融合的人脸表情识别方法。从两方面对表情信息进行描述,通过局部二值模式(LocalBinaryPattern,LBP)和词袋模型(BagOfWords,BOW)分别对表情图像进行纹理特征和语义特征提取,然后将两种特征进行线性融合,最后使用支持向量机(Support Vector Machine,SVM)进行表情分类识别。本文方法在JAFFE和CK+表情数据集上分别取得了98.76%和97.58%的识别率,验证了所提出方法的有效性。     

基于纹理特征融合的人脸表情识别

局部二值模式(LBP)和韦伯局部描述算子(WLD)是两种图像的纹理描述算子,在图像的特征提取方面有较强的能力。为了更加准确地对人脸表情进行识别与分类,针对LBP在特征提取的过程中只考虑了中心像素点与周围的其他像素点的灰度值之差,WLD仅考虑中心像素点与周围像素点灰度值之间的激励强度与梯度方向关系的问题,提出一种新的特征提取算法—局部二值韦伯模式(LBWP)。首先对图像进行预处理,检验人脸和裁剪有效的表情区域,接着对图像进行LBWP特征提取,在特征提取之后采用SVM的分类器对表情进行识别和分类。该算法在CK+数据集和JAFFE数据集上进行实验仿真,识别率分别达到了97.14%和95.77%。实验结果验证了LBWP算法在表情识别方面的有效性,且丰富了人脸图像特征提取方法。     

基于加权多头并行注意力的局部遮挡面部表情识别

面部表情识别在诸多领域具有广泛的应用价值, 但在识别过程中局部遮挡会导致面部难以提取有效的表情识别特征, 而局部遮挡的面部表情识别可能需要多个区域的表情特征, 单一的注意力机制无法同时关注面部多个区域特征. 针对这一问题, 本文提出了一种基于加权多头并行注意力的局部遮挡面部表情识别模型, 该模型通过并行多个通道-空间注意力提取局部未被遮挡的多个面部区域表情特征, 有效缓解了遮挡对表情识别的干扰, 大量的实验结果表明, 本文的方法相比于很多先进的方法取得了最优的性能, 在RAF-DB和FERPlus上的准确率分别为89.54%、89.13%, 在真实遮挡的数据集Occlusion-RAF-DB和Occlusion-FERPlus的准确率分别为87.47%、86.28%. 因此, 本文的方法具有很强的鲁棒性.     

复合时空特征的双模态情感识别

目的 针对体积局部二值模式应用到视频帧特征提取上,特征维数大,对光照及噪声鲁棒性差等问题,提出一种新的特征描述算法—时空局部三值模式矩（TSLTPM）。考虑到TSLTPM描述的仅是纹理特征,本文进一步融合3维梯度方向直方图（3DHOG）特征来增强对情感视频的描述。方法 首先对情感视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLTPM和3DHOG特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配;最后使用D-S证据联合规则得到情感识别结果。结果 在FABO数据库上进行实验,表情和姿态单模态分别取得83.06%和94.78%的平均识别率,在表情上分别比VLBP（体积局部二值模式）、LBP-TOP（三正交平面局部二值模式）、TSLTPM、3DHOG高9.27%、12.89%、1.87%、1.13%;在姿态上分别比VLBP、LBP-TOP、TSLTPM、3DHOG高24.61%、27.55%、1.18%、0.98%。将两种模态进行融合以后平均识别率达到96.86%,说明了融合表情和姿态进行情感识别的有效性。结论 本文提出的TSLTPM特征将VLBP扩展成时空三值模式,能够有效降低维数,减少光照和噪声对识别的影响,与3DHOG特征形成复合时空特征有效增强了情感视频的分类性能,与典型特征提取算法的对比实验也表明了本文算法的有效性。另外,与其他方法的对比实验也验证了本文融合方法的优越性。     

结合多特征和跨连通道加权的面部表情识别

面部表情是人类表达情感的主要方式.本文提出一种将手工特征和深度学习特征相结合,以跨连通道加权模块为基础的面部表情识别方法.将灰度图、局部二值模式特征、Sobel特征作为三通道特征输入,以深度可分离卷积代替标准卷积;同时引入跨连通道加权模块,通过建模不同通道特征之间的关系,更加高效地进行不同层次特征的融合.本文方法在CK+和JAFFE两个常用表情数据集上进行了验证,取得了高达99.77%和99.48%的准确率,证明了本文方法的有效性与可行性.     

融合局部特征的面部遮挡表情识别

目的 针对人脸表情识别中存在局部遮挡的问题,提出一种融合局部特征的面部遮挡表情识别方法。方法 首先,为了减少噪声的影响,利用高斯滤波对归一化后的图像进行去噪处理;然后根据人脸不同部位对表情识别的不同贡献度,将图像划分为两个重要的子区域,并分别对该子区域进行不重叠分块处理;采用改进的中心对称局部二值模式（差值中心对称局部二值模式DCS-LBP）和改进的差值局部方向模式（梯度中心对称局部方向模式GCS-LDP）对各个子块提取相应的特征,并采用级联的方式得到图像的特征直方图;最后结合最近邻分类器对表情图像进行分类识别：利用卡方距离求取测试集图像与训练集图像特征直方图之间的距离,同时考虑到遮挡的干扰以及每个子块包含信息量的不同,利用信息熵对子块得到的卡方距离进行自适应加权。结果 在日本女性人脸表情库（JAFFE）和Cohn-Kanade（CK）人脸表情库上进行了3次交叉实验。在JAFFE库中随机遮挡、嘴部遮挡和眼部遮挡分别可以取得92.86%、94.76%和86.19%以上的平均识别率;在CK库中随机遮挡、嘴部遮挡和眼部遮挡分别可以取得99%、98.67%和99%以上的平均识别率。结论 该特征提取方法通过融合梯度方向上灰度值的差异以及梯度方向之间边缘响应值的差异来描述图像的特征,更加完整地提取了图像的细节信息。针对遮挡情况,本文采用的图像分割和信息熵自适应加权方法,有效地降低了遮挡对表情识别的干扰。在相同的实验环境下,与经典的局部特征提取方法以及遮挡问题处理方法的对比表明了该方法的有效性和优越性。     

实时矩形交通限速标志识别系统

交通限速标志识别系统是汽车辅助驾驶系统的一项重要组成部分,本文提出了一种实时矩形交通标志识别系统.首先采用多尺度多区域的局部二值模式（LBP）特征训练Adaboost分类器进行交通限速标志的检测,然后利用线性预测的算法进行标志跟踪.识别预处理阶段,首先采用投影分析的方法对交通标志进行旋转校正,然后采用基于积分图的自适应二值化方法将图像进行二值化,再利用连通区域标记方法得到包含限速标志数字的最小矩形区域.识别时首先采用主元分析（PCA）进行特征向量提取,然后用聚类的方法构建二叉树的线性支持向量机进行分类识别.在普通笔记本电脑系统配置下,通过大量的实际道路场景的视频数据测试,系统取得了98.3%的正确识别率,平均处理速度达16帧/s.     

基于局部重要性采样的SAR图像纹理特征提取方法

合成孔径雷达（Synthetic aperture radar,SAR）图像因为相干斑现象和目标响应的空间变化呈现出一种纹理特性,局部二进编码等局部图像特征 在光学纹理描述中获得较好的结果,但光学纹理特征在描述SAR图像纹理特性中因为相干成像特性往往失效. 本文 在前期工作纹理特征框架的基础上,提出了一种局部重要性采样二进编码的SAR图像纹理特征（Feature extraction based on local important sampling binary,LISBF）描述方法:首先,利用样本图像对局部采样位 置进行随机自适应采样,基于重要性采样（Important sample,IS）方法输出递归学习位置结果;然后,利用学习出的纹理重要采样点对进 行二进特征编码;最后,通过映射和统计生成描述算子. 该特征较固定位置采样能够获取更大范围信息,同时能通 过采样避免特征维数的急剧增大;通过自适应学习重要性关键点较随机采样 更容易捕捉纹理固有信息;较好地适应了SAR图像极低信噪比和斑点现象的纹理. 本文将该特征用于真实图像和标准纹理库的分类研究,实验结果证明了该特征的有效性.     

改进FCM和LFP相结合的白细胞图像分类

研究白细胞图像分类识别中有效的图像分割与特征提取方法,以提高白细胞图像的正确识别率.由于某些白细胞(粒细胞)中颗粒的存在,严重影响细胞核与细胞质区域的正确分割,通过将空间信息与核函数融入模糊C-均值聚类(FCM)算法,提出一种改进的FCM算法.应用该算法对白细胞图像进行分割,并采用数学形态学方法对分割后的图像进行处理,获得了很好的分割效果,解决了粒细胞的质核分割难题.对于细胞的纹理特征提取,通过对局部二值模式(LBP)中阈值参数的模糊化,建立了基于局部模糊模式(LFP)的纹理特征提取算法.运用本文方法进行图像分割和纹理提取,以支持向量机作为分类器,对CellAtlas的100幅白细胞图像进行了分类识别的实验,结果表明白细胞的正确识别率达到93％.     

Feature representation for facial expression recognition based on FACS and LBP

In expression recognition, feature representation is critical for successful recognition since it contains distinctive information of expressions. In this paper, a new approach for representing facial expression features is proposed with its objective to describe features in an effective and efficient way in order to improve the recognition performance. The method combines the facial action coding system(FACS) and "uniform" local binary patterns(LBP) to represent facial expression features from coarse to fine. The facial feature regions are extracted by active shape models(ASM) based on FACS to obtain the gray-level texture. Then, LBP is used to represent expression features for enhancing the discriminant. A facial expression recognition system is developed based on this feature extraction method by using K nearest neighborhood(K-NN) classifier to recognize facial expressions. Finally, experiments are carried out to evaluate this feature extraction method. The significance of removing the unrelated facial regions and enhancing the discrimination ability of expression features in the recognition process is indicated by the results, in addition to its convenience.     

基于非对称局部梯度编码的人脸表情识别

目的 针对局部梯度编码算子(LGC)只能在固定大小邻域内提取图像纹理特征的不足,提出了一种非对称邻域LGC算子(AR-LGC)多尺度融合的表情特征提取方法。方法 首先,对归一化的表情图像进行Gauss滤波处理;然后,对图像进行分块,对每个子块图像中每一像素点,采用不同邻域大小的AR-LGC算子得到两个二进制序列,将两个序列作按位逻辑异或得到一个新的序列,对此序列进行编码,计算每个子块的直方图分布,级联各子块直方图构成人脸表情的特征;最后用SVM分类器进行表情分类识别。结果 该算法在JAFFE库和CK库上进行实验,分别取得了95.24%和96.83%的平均识别率,并与CBP(中心化二值模式)、LBP(局部二值模式)、LGC和AR-LBP(非对称局部二值模式)算法进行了比较,在JAFFE库的平均识别率分别比CBP、LBP、LGC、AR-LBP高5.6%、4.85%、3.71%、2.40%,在CK库的平均识别率分别比CBP、LBP、LGC、AR-LBP高3.66%、2.50%、2.17%、1.66%,实验结果表明,该算法可以较准确地进行人脸表情识别。结论 本文所提的表情特征提取方法通过融合不同梯度不同尺度子邻域间的强度关系,可以很好地表达图像的局部特征和全局特征,与典型的特征提取算法的对比实验也表明了本文算法的有效性,表明本文算法适用于静态人脸表情图像的识别。     

The effect of rounding on payment efficiency

Theory predicts that dismissing the 1 and 2 euro cent coins from the denominational range of the euro facilitates payment efficiency. To examine whether this theory holds true in practice, data were collected for the Netherlands before and after September 2004, which marks the day that retail stores were allowed to round all amounts at 5 euro cents. The data consist of wallet contents for three cross sections of individuals. As the amounts of various coins in wallets are correlated, a multivariate Poisson-log Normal model is proposed to analyze these data. It is found that rounding leads to less 1 and 2 cent coins in wallets, but that still other coins are over or underrepresented, thereby suggesting that the euro range does not yet lead to fully efficient payment behavior.     

基于二值空间线特征的道路检测方法

基于视觉的道路检测是高级驾驶员辅助系统（Advanced Driver Assistance Systems,ADAS）的核心技术。针对空间线模型（SPatial RAY feature）对道路宽度适应能力弱,时间复杂度高的不足,提出了一种改进的空间线模型,利用基础分类器得到的置信度图提取二值SPRAY特征,引入帧间信息复用机制来提高道路区域检测的效率。大量结构化和半结构化道路图像的检测实验证明了该方法能够有效提高道路检测的精度,同时能提升空间线模型对不同宽度道路检测的鲁棒性。     

Efficient near-duplicate image detection with a local-based binary representation

Efficient near-duplicate image detection is important for several applications that feature extraction and matching need to be taken online. Most image representations targeting at conventional image retrieval problems are either computationally expensive to extract and match, or limited in robustness. Aiming at this problem, in this paper, we propose an effective and efficient local-based representation method to encode an image as a binary vector, which is called Local-based Binary Representation (LBR). Local regions are extracted densely from the image, and each region is converted to a simple and effective feature describing its texture. A statistical histogram can be calculated over all the local features, and then it is encoded to a binary vector as the holistic image representation. The proposed binary representation jointly utilizes the local region texture and global visual distribution of the image, based on which a similarity measure can be applied to detect near-duplicate image effectively. The binary encoding scheme can not only greatly speed up the online computation, but also reduce memory cost in real applications. In experiments the precision and recall, as well as computational time of the proposed method are compared with other state-of-the-art image representations and LBR shows clear advantages on online near-duplicate image detection and video keyframe detection tasks.     

基于Haar特性的LBP纹理特征

图像纹理特征能够反映图像的灰度分布程度、对比度、空间分布和图像的内在变化特性,在确保较低计算复杂度的前提下,有效提取深层次的图像纹理信息是其研究的难点问题。针对这一问题,从相邻区域的统计特征分析入手,提出了一种Haar型特性局部二元模式(Haar local binary pattern,简称HLBP)的图像纹理特征提取方法。鉴于Haar型特征运算简单、快捷,统计局部特征有效、可靠,将其引入LBP中。该方法首先给出8组Haar型特征编码模式,按照局部二元模式(local binary pattern,简称LBP)统计图像局部纹理特征,因采用局部区域统计方法能够有效降低噪声的影响;其次,为了进一步提高图像纹理特征的有效呈现,结合Gabor小波滤波在不同方向、不同尺度对灰度水平图像进行特征提取,以增强纹理有效提取的性能,提高不变特征的稳健性;最后,通过4组对比实验验证了该方法的可行性。实验分别在标准的 Brodatz 正常分块纹理库测试集、分块且缩放 Brodatz 纹理库测试集、分块且旋转Brodatz纹理库测试集以及Yale B扩展的非均匀光照条件人脸库测试集上进行。实验结果表明,该方法能够有效地表达图像的纹理特征。