基于卷积神经网络融合SIFT特征的人脸表情识别

表情识别技术是计算机从静态表情图像或动态表情图像中识别出特定的表情,是实现人机交互的基础。提出一种融合卷积神经网络(CNN)与SIFT特征的人脸表情识别方法。通过图像预处理得到规范化的表情图像;采用视觉词袋模型将图像提取的SIFT特征作进一步处理,将得到的图像特征向量作为局部特征,CNN提取的特征作为全局特征,全局特征用以描述表情的整体差异,局部特征用以描述表情的局部差异;将提取出的两组特征融合后采用Softmax分类。与流形稀疏表示(Manifold Sparse Representation,MSR)及3DCNN等方法在CK+及FER2013数据集上的实验表明,该方法是一种有效的表情识别方法。     

一种KCCA融合局部特征和全局特征的目标识别算法

提出一种新的KCCA特征融合算法。首先分别提取目标图像的局部特征SIFT和全局Pseudo-Zernike矩特征,并利用K-means算法对局部特征进行预处理;然后利用KCCA将两种特征提取相关特征进行融合,最后将融合特征送入SVM分类器。对遥感飞机图像库做了分类识别的仿真实验。相比于单一特征和CCA特征融合的识别策略,KCCA识别率得到明显提高,理论分析和实验结果证实了该算法具有良好的准确性与可靠性,能够有效提高图像分类识别系统的准确度。     

基于词包和特征融合的目标识别算法

针对现有词包模型对目标识别性能的不足,对特征提取、图像表示等方面进行改进以提高目标识别的准确率。首先,以密集提取关键点的方式取代SIFT关键点提取,减少了计算时间并最大程度地描述了图像底层信息。然后采用尺度不变特征变换(Scale-invariant feature transform, SIFT)描述符和统一模式的局部二值模式(Local binary pattern,LBP)描述符描述关键点周围的形状特征和纹理特征,引入K-Means聚类算法分别生成视觉词典,然后将局部描述符进行近似局部约束线性编码,并进行最大值特征汇聚。分别采用空间金字塔匹配生成具有空间信息的直方图,最后将金字塔直方图相串联,形成特征的图像级融合,并送入SVM进行分类识别。在公共数据库中进行实验,实验结果表明,本文所提方法能取得较高的目标识别准确率。     

基于显著区域的图像自动标注*

为了提高图像自动标注的准确率,提出了一种基于图像显著区域的自动标注方法。首先提取图像的显著区域,然后提取图像的SIFT特征,利用K-均值聚类得到视觉词汇,并根据训练图像的SIFT特征是否位于显著区域进行不同的加权运算得到视觉词汇的词袋表示,最后利用支持向量机训练分类模型实现图像分类和标注。在一个包含1 255幅Corel图像的数据库进行实验,所提方法标注的准确率与整体考虑整幅图像特征相比有很大提高,表明提出的算法优于传统方法。     

融合傅里叶描述子和尺度不变特征转换特征的商标检索

针对传统商标检索算法中全局特征容易造成误检,而局部特征SIFT对轮廓描述能力不强及算法复杂度高的问题,提出了一种融合图像全局特征和局部特征的商标检索算法。其中全局特征反应了图像的整体信息,这些信息可用来较快地建立候选图像库,而局部特征则可以更准确地与候选图像进行匹配。首先提取图像的傅里叶描述子进行初步检索,并按相似度排序,然后在此结果集的基础上对候选图像通过提取SIFT特征进行精确匹配。实验结果表明,该方法既保持了SIFT特征较高的查全率和查准率,优于傅里叶描述子单一特征,而且检索速度比SIFT单一特征显著提高,能很好地应用于商标图像检索系统中。     

自上而下注意图分割的细粒度图像分类

目的 针对细粒度图像分类中的背景干扰问题,提出一种利用自上而下注意图分割的分类模型。方法 首先,利用卷积神经网络对细粒度图像库进行初分类,得到基本网络模型。再对网络模型进行可视化分析,发现仅有部分图像区域对目标类别有贡献,利用学习好的基本网络计算图像像素对相关类别的空间支持度,生成自上而下注意图,检测图像中的关键区域。再用注意图初始化GraphCut算法,分割出关键的目标区域,从而提高图像的判别性。最后,对分割图像提取CNN特征实现细粒度分类。结果 该模型仅使用图像的类别标注信息,在公开的细粒度图像库Cars196和Aircrafts100上进行实验验证,最后得到的平均分类正确率分别为86.74%和84.70%。这一结果表明,在GoogLeNet模型基础上引入注意信息能够进一步提高细粒度图像分类的正确率。结论 基于自上而下注意图的语义分割策略,提高了细粒度图像的分类性能。由于不需要目标窗口和部位的标注信息,所以该模型具有通用性和鲁棒性,适用于显著性目标检测、前景分割和细粒度图像分类应用。     

面向近重复图像匹配的SIFT特征裁减算法

针对图像提取出的SIFT特征数目通常很大、无法精确控制,导致系统效率不高且不稳定的问题,提出一种SIFT特征裁减算法.通过对SIFT关键点的对比度和主曲率比加权来衡量其匹配能力;在定位关键点和计算关键点方向2个步骤增加对关键点的二次筛选,提取出设定阈值数目内对匹配最有效的关键点.实验结果表明,该算法能有效地控制SIFT特征数量,比已有裁减算法具有更高的匹配准确度;与原始未裁减算法相比,在保证匹配准确度的同时,大大提高了系统的效率和稳定性.     

一种基于SIFT特征及决策函数的人脸识别方法

根据图像SIFT特征的尺度不变特性,提出根据人脸"三庭五眼"特征进行图像ROI区域提取,然后基于SIFT特征和决策函数的人脸识别的匹配策略对人脸ROI区域进行特征匹配得出最佳识别结果,方法在自建人脸库和ORL人脸库进行了对比实验,实验结果表明,方法具有较高的识别准确率和鲁棒性.     

细粒度图像分类的通道自适应判别性学习方法

由于类内差异大且类间差异小,因此细粒度图像分类极具挑战性。鉴于深层特征具有很强的特征表示能力,而中层特征又能有效地补充全局特征在图像细粒度识别中的缺失信息,因此,为了充分利用卷积层的特征,本文提出细粒度图像分类的通道自适应判别性学习方法：首先在通道方向上聚集中级特征以获取目标位置;然后对通过感兴趣区域特征交互级联得到的信息进行分类;最后进行端到端的训练,无需任何边界框和零件注释。在CUB-200-2011、Stanford Cars和FGVC-Aircraft这3个公共数据集上开展大量实验,与其他方法相比,本文方法既可以保持简单性和推理效率又可提升分类准确度。     

结合角点特征与SIFT特征的加速图像匹配

利用关键点寻找不同图像之间的一致性是很多图像处理和计算机视觉应用中的一个关键步骤。由于图像中巨量的关键点,因此特征的快速匹配成为了一个瓶颈。文中提出了一种对特征点进行分类比较的方法来加速特征匹配。首先可将SIFY特征分为两类,极大值SIIrF特征和极小值SIFT特征;其次是将SIFT特征和传统角点特征相结合提取特征点并按照角点特征进行分类。实验表明,这种方法在保持原有鲁棒性和精度的情况下,可以较大提高特征匹配速度。     

多媒体工程：2016——图像检索研究进展与发展趋势

目的 基于内容的图像检索方法利用从图像提取的特征进行检索,以较小的时空开销尽可能准确的找到与查询图片相似的图片。方法 本文从浅层特征、深层特征和特征融合3个方面对图像检索国内外研究进展和面临的挑战进行介绍,并对未来的发展趋势进行展望。结果 尺度下不变特征转换（SIFT）存在缺乏空间几何信息和颜色信息,高层语义的表达不够等问题;而CNN （convolutional neural network）特征则往往缺乏足够的底层信息。为了丰富描述符的信息,通常将SIFT与CNN等特征进行融合。融合方式主要包括：串连、核融合、图融合、索引层次融合和得分层（score-level）融合。"融合"可以有效地利用不同特征的互补性,提高检索的准确率。结论 与SIFT相比,CNN特征的通用性及几何不变性都不够强,依然是图像检索领域面临的挑战。     

基于深度学习的SIFT图像检索算法

深度学习作为一个新的机器学习方向,被应用到计算机视觉领域上成效显著.为了解决分布式的尺度不变特征转换（Scale-Invariant Feature Transform,SIFT）算法效率低和图像特征提取粗糙问题,提出一种基于深度学习的SIFT图像检索算法.算法思想：在Spark平台上,利用深度卷积神经网络（Convolutional Neural Network,CNN）模型进行SIFT特征抽取,再利用支持向量机（Support Vector Machine,SVM）对图像库进行无监督聚类,然后再利用自适应的图像特征度量来对检索结果进行重排序,以改善用户体验.在Corel图像集上的实验结果显示,与传统SIFT算法相比,基于深度学习的SIFT图像检索算法的查准率和查全率大约提升了30个百分点,检索效率得到了提高,检索结果图像排序也得到了优化.     

基于多特征提取的图像语义描述算法

针对图像语义描述方法中存在的图像特征信息提取不完全以及循环神经网络（RNN）产生的梯度消失问题,提出了一种基于多特征提取的图像语义描述算法。所构建模型由三个部分组成：卷积神经网络（CNN）用于图像特征提取,属性提取模型（ATT）用于图像属性提取,而双向长短时记忆（Bi-LSTM）网络用于单词预测。该模型通过提取图像属性信息来增强图像表示,从而精确描述图中事物,并且使用Bi-LSTM捕捉双向语义依赖,从而进行长期的视觉语言交互学习。首先,使用CNN和ATT分别提取图像全局特征与图像属性特征;其次,将两种特征信息输入到Bi-LSTM中生成能够反映图像内容的句子;最后,在Microsoft COCO Caption、Flickr8k和Flickr30k数据集上验证了所提出算法的有效性。实验结果表明,与m-RNN方法相比,所提出的算法在描述性能方面提高了6.8~11.6个百分点。所提算法能够有效地提高模型对图像的语义描述性能。     

基于多特征融合的电子布缺陷分类

针对传统的电子布缺陷分类方法效率低,稳定性差的问题,提出了基于多特征融合的电子布缺陷分类算法。首先,使用中值滤波对电子布图像进行预处理,滤除细节噪声,减少背景纹理的影响;其次,对预处理后的图像进行Canny边缘检测,利用Hu不变矩提取缺陷的几何特征;再利用尺度不变特征变换(SIFT)提取图像的纹理特征,使用K-means聚类后,构建电子布图像的词袋模型(BoW);最后,将几何特征和纹理特征融合,并传入SVM中进行训练,得到相应的电子布缺陷分类模型。实验结果表明,应用多特征融合的方法对电子布缺陷进行分类,其平均准确率可达97.22%,能够满足企业的实际需求。     

基于多特征和改进SVM集成的图像分类

现有图像分类方法不能充分利用图像各单一特征之间的优势互补特性,提取的特征中存在大量冗余信息,从而导致图像分类精度不高。为此,提出一种基于多特征和改进支持向量机(SVM)集成的图像分类方法。该方法能提取全面描述图像内容的综合特征,采用主成分分析对所提取的特征进行变换,去除冗余信息,使用支持向量机的集成分类器RBaggSVM进行分类。仿真实验结果表明,与同类图像分类方法相比,该方法具有更高的图像分类精度和更快的分类速度。     

融合颜色词袋特征的视觉词汇树图像检索

针对由图像灰度空间产生的传统词袋模型SIFT特征无法体现图像的颜色信息的问题,提出了一种融合颜色特征的视觉词汇树来对图像进行描述。提取SIFT特征并建立词汇树,获取图像的SIFT表示向量。利用K-means方法对图像库中的所有图像的HSV值进行聚类,获得基于HSV空间的颜色词袋表示向量,避免了传统颜色直方图方法所带来的量化误差。将SIFT特征与颜色词袋特征进行融合,完成了图像的全局特征和局部特征的融合。然后,计算融合特征的相似度,将相似度从高到低排序,完成图像检索。为了验证本方法的有效性,选择Corel图像库对算法性能进行实验分析,从主观评价和客观评价标准分别进行评价,并与传统方法进行了对比。结果表明,特征融合的检索性能与单一特征方法相比有较大提高。特征融合方法的平均检索查准率和查全率-查准率等评价指标,对比传统方法均有不同程度提高。     

融合弱监督目标定位的细粒度小样本学习

目的 小样本学习旨在通过一幅或几幅图像来学习全新的类别。目前许多小样本学习方法基于图像的全局表征,可以很好地实现常规小样本图像分类任务。但是,细粒度图像分类需要依赖局部的图像特征,而基于全局表征的方法无法有效地获取图像的局部特征,导致很多小样本学习方法不能很好地处理细粒度小样本图像分类问题。为此,提出一种融合弱监督目标定位的细粒度小样本学习方法。方法 在数据量有限的情况下,目标定位是一个有效的方法,能直接提供最具区分性的区域。受此启发,提出了一个基于自注意力的互补定位模块来实现弱监督目标定位,生成筛选掩膜进行特征描述子的筛选。基于筛选的特征描述子,设计了一种语义对齐距离来度量图像最具区分性区域的相关性,进而完成细粒度小样本图像分类。结果 在miniImageNet数据集上,本文方法在1-shot和5-shot下的分类精度相较性能第2的方法高出0.56%和5.02%。在细粒度数据集Stanford Dogs和Stanford Cars数据集上,本文方法在1-shot和5-shot下的分类精度相较性能第2的方法分别提高了4.18%,7.49%和16.13,5.17%。在CUB 200-2011（Caltech-UCSD birds）数据集中,本文方法在5-shot下的分类精度相较性能第2的方法提升了1.82%。泛化性实验也显示出本文方法可以更好地同时处理常规小样本学习和细粒度小样本学习。此外,可视化结果显示出所提出的弱监督目标定位模块可以更完整地定位出目标。结论 融合弱监督目标定位的细粒度小样本学习方法显著提高了细粒度小样本图像分类的性能,而且可以同时处理常规的和细粒度的小样本图像分类。     

YOLOv3和双线性特征融合的细粒度图像分类

目的 细粒度图像分类是计算机视觉领域具有挑战性的课题,目的是将一个大的类别分为更详细的子类别,在工业和学术方面都有着十分广泛的研究需求。为了改善细粒度图像分类过程中不相关背景干扰和类别差异特征难以提取的问题,提出了一种将目标检测方法YOLOv3（you only look once）和双线性融合网络相结合的细粒度分类优化算法,以此提高细粒度图像分类的性能。方法 利用重新训练过的目标检测算法YOLOv3粗略确定目标在图像中的位置;使用背景抑制方法消除目标以外的信息干扰;利用融合不同通道、不同层级卷积层特征的方法对经典的细粒度分类算法双线性卷积神经网络（bilinear convolutional neural network,B-CNN）进行改进,优化分类性能,通过融合双线性网络中不同卷积层的特征向量,得到更加丰富的互补信息,从而提高细粒度分类精度。结果 实验结果表明,在CUB-200-2011（Caltech-UCSD Birds-200-2011）、Cars196和Aircrafts100数据集中,本文算法的分类准确率分别为86.3%、92.8%和89.0%,比经典的B-CNN细粒度分类算法分别提高了2.2%、1.5%和4.9%,验证了本文算法的有效性。同时,与已有细粒度图像分类算法相比也表现出一定的优势。结论 改进算法使用YOLOv3有效滤除了大量无关背景,通过特征融合方法来改进双线性卷积神经分类网络,丰富特征信息,使分类的结果更加精准。