基于卷积特征聚合的细粒度图像检索方法

针对卷积神经网络（CNN）全连接层得到的是图像类别的全局语义信息,无法有效抑制背景噪声以及表示图像局部的细节信息,导致细粒度图像检索任务中负样本靠前的问题,提出了一种选择性加权来聚合卷积特征并利用k相互最近邻（k-reciprocal nearest neighbor,k-RNN）重排的图像检索方法。该方法主要是通过提取并筛选CNN最后一层特征来聚合形成单维全局特征向量,再引入k相互最近邻算法对检索出的结果进行重排。在细粒度基准数据集CUB-200-2011、室内场景数据集Indoor和普通类别数据集Caltech-101进行验证评估。实验结果表明该方法能够有效改善检索出负样本靠前的问题,相比SCDA方法,该方法检索精度及召回率有显著提升。     

基于多中心卷积特征加权的图像检索方法

深度卷积特征能够为图像内容描述提供丰富的语义信息,为了在图像表示中突出对象内容,结合激活映射中较大响应值与对象区域的关系,提出基于多中心卷积特征加权的图像表示方法。首先,通过预训练深度模型提取出图像卷积特征;其次,通过不同通道特征映射求和得到激活映射,并将激活映射中有较大响应值的位置认为是对象的中心;再次,将中心数量作为尺度,结合激活映射中不同位置与中心的距离为对应位置的描述子加权;最后,合并不同中心数量下的图像特征,生成图像表示用于图像检索。与池化卷积（SPoC）算法和跨维度（CroW）算法相比,所提方法能够为图像表示提供尺度信息的同时突出对象内容,并在Holiday、Oxford和Paris图像集中取得了良好的检索结果。     

深度导向显著性检测算法

针对目前基于深度卷积神经网络的显著性检测算法存在对复杂场景图像目标检测不完整、背景噪声多的问题，提出一种深度特征导向显著性检测算法。该算法是基于现有底层特征与深度卷积特征融合模型（ELD）的改进，网络模型包含基础特征提取、高层语义特征跨层级引导传递两个部分。首先，根据不同层级卷积特征的差异性，构建跨层级特征联合的高层语义特征引导模型；然后，用改进的网络模型生成初始显著图，利用高层语义特征引导的方式进行显著性聚类传播；最后，用完全联系条件随机场对聚类传播的结果进行优化，使其能够获取更多结构边缘信息和降低噪声并生成完整显著图。在ECSSD上和DUT-ORMON两个数据集上进行实验测试，实验结果表明，所提算法的准确率和召回率（PR）优于ELD模型，其F-measure（F）值分别提升了7.5%和11%，平均绝对误差（MAE）值分别降低了16%和15%，说明了所提算法模型能够在目标识别、模式识别、图像索引等复杂图像场景应用领域得到更加鲁棒的结果。     

基于深度语义模型的乳腺X线图像检索

图像特征是基于内容的图像检索（Content-based image retrieval,CBIR）的关键,大部分使用的手工特征难以有效地表示乳腺肿块的特征,底层特征与高层语义之间存在语义鸿沟。为了提高CBIR的检索性能,本文采用深度学习来提取图像的高层语义特征。由于乳腺X线图像的深度卷积特征在空间和特征维度上存在一定的冗余和噪声,本文在词汇树和倒排文件的基础上,对深度特征的空间和语义进行优化,构建了两种不同的深度语义树。为了充分发挥深度卷积特征的识别能力,根据乳腺图像深度特征的局部特性对树节点的权重进行细化,提出了两种节点加权方法,得到了更好的检索结果。本文从乳腺X线图像数据库（Digital database for screening mammography, DDSM）中提取了2 200个感兴趣区域（Region of interest,ROIs）作为数据集,实验结果表明,该方法能够有效提高感兴趣肿块区域的检索精度和分类准确率,并且具有良好的可扩展性。     

基于语义引导自注意力网络的换衣行人重识别模型

针对换衣行人重识别（ReID）任务中有效信息提取困难的问题，提出一种基于语义引导自注意力网络的换衣ReID模型。首先，利用语义信息将图像分割出无服装图像，和原始图像一起输入双分支多头自注意力网络进行计算，分别得到衣物无关特征和完整行人特征。其次，利用全局特征重建模块（GFR），重建两种全局特征，得到的新特征中服装区域包含换衣任务中鲁棒性更好的头部特征，使得全局特征中的显著性信息更突出；利用局部特征重组重建模块（LFRR），在完整图像特征和无服装图像特征中提取头部和鞋部局部特征，强调头部和鞋部特征的细节信息，并减少换鞋造成的干扰。最后，除了使用行人重识别中常用的身份损失和三元组损失，提出特征拉近损失（FPL），拉近局部与全局特征、完整图像特征与无服装图像特征之间的距离。在PRCC(Person ReID under moderate Clothing Change)和VC-Clothes(Virtually Changing-Clothes)数据集上，与基于衣物对抗损失（CAL）模型相比，所提模型的平均精确率均值（mAP）分别提升了4.6和0.9个百分点；在Celeb-reID和Cele...     

用于图像检索的多区域交叉加权聚合深度卷积特征

针对依赖图像特征和聚合编码的"以图搜图"方法检索准确率较低的问题,提出一种基于多区域的交叉加权聚合深度卷积特征描述算法——RCro W.首先利用目标区域具有较高激活响应的特性标记出目标轮廓位置,将卷积特征图和目标轮廓掩码图结合生成空间权重矩阵;然后引入多区域策略,将空间权重矩阵转变成多区域交叉权重矩阵;最后利用多区域交叉权重矩阵加权聚合深度卷积特征生成图像特征向量.在Oxford5k,Paris6k和Holidays这3个数据集上进行的实验的结果表明,RCroW算法的图像检索平均准确率优于CroW,R-MAC和SPoC等7种算法.     

基于深度多视图特征距离学习的行人重识别

传统手工特征很大程度上依赖于行人的外观特征，而深度卷积特征作为高维特征，直接用来匹配图像会消耗大量的时间和内存，并且来自较高层的特征很容易受到行人姿势背景杂波影响。针对这些问题，提出一种基于深度多视图特征距离学习的方法。首先，提出一种新的整合和改善深度区域的卷积特征，利用滑框技术对卷积特征进行处理，得到低维的深度区域聚合特征并使其维数等于卷积层通道数；其次，通过交叉视图二次判别分析方法，从深度区域聚合特征和手工特征两个角度出发，提出一种多视图特征距离学习算法；最后，利用加权融合策略来完成传统特征和卷积特征之间的协作。在Market-1501和VIPeR数据集上的实验结果显示，所提融合模型的Rank1值在两个数据集上分别达到80.17%和75.32%；在CUHK03数据集新分类规则下，所提方法的Rank1值达到33.5%。实验结果表明，通过距离加权融合之后的行人重识别的精度明显高于单独的特征距离度量取得的精度，验证了所提的深度区域特征和算法模型的有效性。     

高精度实时语义分割算法框架: 多通道深度加权聚合网络

近年来随着深度学习技术的不断发展,涌现出各种基于深度学习的语义分割算法,然而绝大部分分割算法都无法实现推理速度和语义分割精度的兼得.针对此问题,提出一种多通道深度加权聚合网络(MCDWA_Net)的实时语义分割框架.\:该方法首先引入多通道思想,构建一种3通道语义表征模型,3通道结构分别用于提取图像的3类互补语义信息:低级语义通道输出图像中物体的边缘、颜色、结构等局部特征;辅助语义通道提取介于低级语义和高级语义的过渡信息,并实现对高级语义通道的多层反馈;高级语义通道获取图像中上下文逻辑关系及类别语义信息.\:之后,设计一种3类语义特征加权聚合模块,用于输出更完整的全局语义描述.\:最后,引入一种增强训练机制,实现训练阶段的特征增强,进而改善训练速度.\:实验结果表明,所提出方法在复杂场景中进行语义分割不仅有较快的推理速度,且有很高的分割精度,能够实现语义分割速度与精度的均衡.     

条件随机场像素建模与深度特征融合的目标区域分割算法

针对已有的基于深度神经网络的目标区域分割算法在目标边界分割效果中存在的问题,提出融合图像像素信息与图像语义信息的目标区域分割算法.首先通过加入注意力模块的深度神经网络提取图像语义级别的信息,得到图像语义级别的全局特征;然后利用条件随机场模型对图像局部区域进行像素级别建模,得到图像的局部细节特征;最后综合利用图像的局部细节特征和图像的全局特征,得到目标区域的分割结果.实验结果表明,与已有的算法相比,该算法能够更好地分割出目标的边界区域,抑制边界区域分割粗糙的问题,得到较准确的目标分割区域.     

自适应加权融合显著性结构张量和LBP的表情识别

针对局部二值模式（Local Binary Pattern，LBP）提取纹理特征时忽略了图像的局部结构信息问题，提出一种自适应加权融合显著性结构张量和LBP的表情识别算法。该算法通过对整幅图片进行显著性区域检测得到全局显著图来消除细小的纹理和噪声。在显著图的基础上进一步提取两种显著性纹理特征，根据每种特征信息熵的贡献度来作为特征向量的加权依据。利用支持向量机（Support Vector Machine，SVM）进行表情图像的分类。实验结果表明，自适应加权融合的两种纹理特征能够较好地描述人脸的特征，有效地提高表情识别率。     

结合自适应融合网络与哈希的图像检索算法

卷积神经网络因其对图像识别准确率高而在图像检索领域备受青睐,但处理大规模数据集时,基于卷积神经网络提取的深度特征维度高,容易引发"维度灾难".针对图像检索中深度特征维度高的问题,提出一种基于自适应融合网络特征提取与哈希特征降维的图像检索算法.由于传统哈希处理高维特征复杂度高,因此本文在卷积神经网络中加入自适应融合模块对特征进行重新整合,增强特征表征能力的同时降低特征维度;然后应用稀疏化优化算法对深度特征进行第2次降维,并通过映射获得精简的哈希码;最后,实验以Inception网络作为基础模型,在数据集CIFAR-10和ImageNet上进行了丰富的实验.实验结果表明,该算法能有效提高图像检索效率.     

稀疏差分网络和多监督哈希用于高效图像检索

针对基于深度哈希的图像检索中卷积神经网络（CNN）特征提取效率较低和特征相关性利用不充分的问题,提出一种融合稀疏差分网络和多监督哈希的新方法SDNMSH（sparse difference networks and multi-supervised hashing）,并将其用于高效图像检索。SDNMSH以成对的图像作为训练输入,通过精心设计的稀疏差分卷积神经网络和一个监督哈希函数来指导哈希码学习。稀疏差分卷积神经网络由稀疏差分卷积层和普通卷积层组成。稀疏差分卷积层能够快速提取丰富的特征信息,从而实现整个网络的高效特征提取。同时,为了更加充分地利用语义信息和特征的成对相关性,以促进网络提取的特征信息能够更加有效地转换为具有区分性的哈希码、进而实现SDNMSH的高效图像检索,采用一种多监督哈希（MSH）函数,并为此设计了一个目标函数。在MNIST、CIFAR-10和NUS-WIDE三个广泛使用的数据集上进行了大量的对比实验,实验结果表明,与其他先进的深度哈希方法相比,SDNMSH取得了较好的检索性能。     

基于融合多层卷积特征的显著性区域提取

针对目前卷积神经网络提取图像特征不充分导致的显著性提取效果不明显的问题,提出了一种多层卷积特征融合的自编码显著性区域提取算法.在使用卷积网络提取图像特征时,其浅层卷积特征一般提取的是图像的细节特征如颜色、纹理和位置特征,深层次卷积特征一般是图像的语义特征,在编码层将浅层卷积特征经过下采样融合到深层次的卷积特征中,并将深层次卷积特征进行上采样融合到浅层卷积特征中,实验表明这样可以大大提高编码质量;在解码中将编码时的卷积特征也进行融合,可以获取到解码丢失的信息进而得到更优的解码图像.此外还设计了逐层监督的方式来指导解码层的训练,即用标准的区域提取图进行下采样作为每一层解码层的标准图进行监督训练.实验结果表明,该方法可以在PAGRN的基础上将F度量平均提升0.071,平均绝对误差MEA平均降低0.031.     

基于深度卷积特征光流的形变医学图像配准算法

光流法是一种基于光流场模型的重要而有效的形变配准算法。针对现有光流法所用特征质量不高使得配准结果不够准确的问题，将深度卷积神经网络特征和光流法相结合，提出了基于深度卷积特征光流（DCFOF）的形变医学图像配准算法。首先利用深度卷积神经网络稠密地提取图像中每个像素所在图像块的深度卷积特征，然后基于固定图像和浮动图像间的深度卷积特征差异求解光流场。通过提取图像的更为精确和鲁棒的深度学习特征，使求得的光流场更接近真实形变场，提升了配准精度。实验结果表明，所提算法能够更有效地解决形变医学图像配准问题，其配准精度优于Demons算法、尺度不变特征变换(SIFT) Flow算法以及医学图像专业配准软件Elastix。     

基于局部颜色-空间特征的图像语义概念检测

针对基于语义的图像检索系统,提出了一种基于局部颜色-空间特征的图像语义概念检测方法。各种基于颜色、纹理和形状的全局特征都存在着众多信息冗余项和干扰项,而该文提出的局部颜色-空间特征则是利用语义概念层的先验知识进行特征降维后提取出的特征,它能更好地描述图像的语义内容,且具有容易提取、计算复杂度低的优点。实验结果表明,基于局部颜色-空间特征的概念检测方法优于基于全局特征的概念检测方法,将其用于图像检索后的检索精度比采用基于全局颜色特征的方法提高了36.4%。     

基于多特征融合卷积神经网络的显著性检测

随着深度学习技术的发展以及卷积神经网络在众多计算机视觉任务中的突出表现,基于卷积神经网络的深度显著性检测方法成为显著性检测领域的主流方法。但是,卷积神经网络受卷积核尺寸的限制,在网络底层只能在较小范围内提取特征,不能很好地检测区域内不显著但全局显著的对象;其次,卷积神经网络通过堆叠卷积层的方式可获得图像的全局信息,但在信息由浅向深传递时,会导致信息遗失,同时堆叠太深也会导致网络难以优化。基于此,提出一种基于多特征融合卷积神经网络的显著性检测方法。使用多个局部特征增强模块和全局上下文建模模块对卷积神经网络进行增强,利用局部特征增强模块增大特征提取范围的同时,采用全局上下文建模获得特征图的全局信息,有效地抑制了区域内显著而全局不显著的物体对显著性检测的干扰; 能够同时提取多尺度局部特征和全局特征进行显著性检测,有效地提升了检测结果的准确性。最后,通过实验对所提方法的有效性进行验证并和其它11种显著性检测方法进行对比,结果表明所提方法能提升显著性检测结果的准确性且优于参与比较的11种方法。     

部件检测和语义网络的细粒度鞋类图像检索

目的 细粒度图像检索是当前细粒度图像分析和视觉领域的热点问题。以鞋类图像为例,传统方法仅提取其粗粒度特征且缺少关键的语义属性,难以区分部件间的细微差异,不能有效用于细粒度检索。针对鞋类图像检索大多基于简单款式导致检索效率不高的问题,提出一种结合部件检测和语义网络的细粒度鞋类图像检索方法。方法 结合标注后的鞋类图像训练集对输入的待检鞋类图像进行部件检测;基于部件检测后的鞋类图像和定义的语义属性训练语义网络,以提取待检图像和训练图像的特征向量,并采用主成分分析进行降维;通过对鞋类图像训练集中每个候选图像与待检图像间的特征向量进行度量学习,按其匹配度高低顺序输出检索结果。结果 实验在UT-Zap50K数据集上与目前检索效果较好的4种方法进行比较,检索精度提高近6%。同时,与同任务的SHOE-CNN（semantic hierarchy of attribute convolutional neural network）检索方法比较,本文具有更高的检索准确率。结论 针对传统图像特征缺少细微的视觉描述导致鞋类图像检索准确率低的问题,提出一种细粒度鞋类图像检索方法,既提高了鞋类图像检索的精度和准确率,又能较好地满足实际应用需求。     

细粒度民族服饰图像检索的全局-局部特征提取方法

民族服饰图像具有不同民族风格的服装款式、配饰和图案,导致民族服饰图像细粒度检索准确率较低.因此,文中提出细粒度民族服饰图像检索的全局-局部特征提取方法.首先,基于自定义的民族服饰语义标注,对输入图像进行区域检测,分别获得前景、款式、图案和配饰图像.然后在全卷积网络结构的基础上构建多分支的全局-局部特征提取模型,对不同区域的服饰图像进行特征提取,分别获得全局、款式、图案和配饰的卷积特征.最后,先对全局特征进行相似性度量,得到初步检索结果,再使用Top-50检索结果的局部特征与查询图像的局部特征进行重排序,优化排序并输出最终的检索结果.在构建的民族服饰图像数据集上的实验表明,文中方法有效提高民族服饰图像检索的准确率.     

基于特征互补率矩阵的图像分类方法

在基于内容的图像检索和分类系统中,图像的底层特征和高层语义之间存在着语义鸿沟,有效减小语义鸿沟是一个需要广泛研究的问题。为此,提出一种基于特征互补率矩阵的图像分类方法,该方法通过计算视觉特征互补率矩阵进而指导融合特征集的选择,利用测度学习算法得到一个合适的距离测度以反映图像高层语义的相似度。实验结果表明,该方法能有效提高图像分类精度。