基于卷积特征聚合的细粒度图像检索方法

针对卷积神经网络（CNN）全连接层得到的是图像类别的全局语义信息,无法有效抑制背景噪声以及表示图像局部的细节信息,导致细粒度图像检索任务中负样本靠前的问题,提出了一种选择性加权来聚合卷积特征并利用k相互最近邻（k-reciprocal nearest neighbor,k-RNN）重排的图像检索方法。该方法主要是通过提取并筛选CNN最后一层特征来聚合形成单维全局特征向量,再引入k相互最近邻算法对检索出的结果进行重排。在细粒度基准数据集CUB-200-2011、室内场景数据集Indoor和普通类别数据集Caltech-101进行验证评估。实验结果表明该方法能够有效改善检索出负样本靠前的问题,相比SCDA方法,该方法检索精度及召回率有显著提升。     

用于图像检索的多区域交叉加权聚合深度卷积特征

针对依赖图像特征和聚合编码的"以图搜图"方法检索准确率较低的问题,提出一种基于多区域的交叉加权聚合深度卷积特征描述算法——RCro W.首先利用目标区域具有较高激活响应的特性标记出目标轮廓位置,将卷积特征图和目标轮廓掩码图结合生成空间权重矩阵;然后引入多区域策略,将空间权重矩阵转变成多区域交叉权重矩阵;最后利用多区域交叉权重矩阵加权聚合深度卷积特征生成图像特征向量.在Oxford5k,Paris6k和Holidays这3个数据集上进行的实验的结果表明,RCroW算法的图像检索平均准确率优于CroW,R-MAC和SPoC等7种算法.     

基于显著性语义区域加权的图像检索算法

针对计算视觉领域图像实例检索的问题，提出了一种基于深度卷积特征显著性引导的语义区域加权聚合方法。首先提取深度卷积网络全卷积层后的张量作为深度特征，并利用逆文档频率（IDF）方法加权深度特征得到特征显著图；然后将其作为约束，引导深度特征通道重要性排序以提取不同特殊语义区域深度特征，排除背景和噪声信息的干扰；最后使用全局平均池化进行特征聚合，并利用主成分分析（PCA）降维白化得到图像的全局特征表示，以进行距离度量检索。实验结果表明，所提算法提取的图像特征向量语义信息更丰富、辨识力更强，在四个标准的数据库上与当前主流算法相比准确率更高，鲁棒性更好。     

基于多中心卷积特征加权的图像检索方法

深度卷积特征能够为图像内容描述提供丰富的语义信息,为了在图像表示中突出对象内容,结合激活映射中较大响应值与对象区域的关系,提出基于多中心卷积特征加权的图像表示方法。首先,通过预训练深度模型提取出图像卷积特征;其次,通过不同通道特征映射求和得到激活映射,并将激活映射中有较大响应值的位置认为是对象的中心;再次,将中心数量作为尺度,结合激活映射中不同位置与中心的距离为对应位置的描述子加权;最后,合并不同中心数量下的图像特征,生成图像表示用于图像检索。与池化卷积（SPoC）算法和跨维度（CroW）算法相比,所提方法能够为图像表示提供尺度信息的同时突出对象内容,并在Holiday、Oxford和Paris图像集中取得了良好的检索结果。     

基于卷积神经网络和流形排序的图像检索算法

针对基于内容的图像检索(CBIR)中低层视觉特征与用户对图像理解的高层语义不一致以及传统的距离度量方式难以真实反映图像之间相似程度等问题,提出了一种基于卷积神经网络(CNN)和流形排序的图像检索算法。首先,将图像输入CNN,通过多层神经网络对图像的监督学习,提取网络中全连接层的图像特征;其次,对图像特征进行归一化处理,然后用高效流形排序(EMR)算法对查询图像所返回的结果进行排序;最后,根据排序的结果返回最相似的图像。在corel数据集上,深度图像特征比基于场景描述的图像特征的平均查准率(mAP)提高了53.74%,流形排序比余弦距离度量方式的mAP提高了18.34%。实验结果表明,所提算法能够有效地提高图像检索的准确率。     

融合全局和局部描述的图像检索方法

针对基于内容的图像检索中全局描述缺乏空间位置信息及局部描述面临图像分割的问题,提出了一种基于全局颜色特征和局部Gabor小波纹理特征的图像检索方法.在整幅图上提取MPEG-7主颜色描述算子作为全局描述.将图像划分为5个有重叠的子区域,提取Gabor纹理特征与颜色矩构成局部描述,提出了改进的豪斯多夫距离并将其应用在局部描述的整体匹配中,克服了因图像的平移、旋转而造成检索率低的问题.融合全局相似度和局部相似度获得最终相似度.基于Corel数据库的实验结果表明了该方法的有效性.     

融合词袋连通图的图像检索特征选择

目的 随着图像检索所依赖的特征愈发精细化,在提高检索精度的同时,也不可避免地产生众多非相关和冗余的特征。针对在大规模图像检索和分类中高维度特征所带来的时间和空间挑战,从减少特征数量这一简单思路出发,提出了一种有效的连通图特征点选择方法,探寻图像检索精度和特征选择间的平衡。方法 基于词袋模型（bag of words,BOW）的图像检索机制,结合最近邻单词交叉核、特征距离和特征尺度等属性,构建包含若干个连通分支和平凡图的像素级特征分离图,利用子图特征点的逆文本频率修正边权值,从各连通分量的节点数量和孤立点最近邻单词相关性两个方面开展特征选择,将问题转化为在保证图像匹配精度情况下,最小化特征分离图的阶。结果 实验采用Oxford和Paris公开数据集,在特征存储容量、时间复杂度集和检索精度等方面进行评估,并对不同特征抽取和选择方法进行了对比。实验结果表明选择后的特征数量和存储容量有效约简50%以上;100 k词典的KD-Tree查询时间减少近58%;相对于其他编码方法和全连接层特征,Oxford数据集检索精度平均提升近7.5%;Paris数据集中检索精度平均高于其他编码方法4%,但检索效果不如全连接层特征。大量实验表明了大连通域的冗余性和孤立点的可选择性。结论 通过构建特征分离图,摒弃大连通域的冗余特征点,保留具有最近邻单词相关性的孤立特征点,最终形成图像的精简特征点集。整体检索效果稳定,其检索精度基本与原始特征点集持平,且部分类别效果优于原始特征和其他方法。同时,选择后特征的重用性好,方便进一步聚合集成。     

细粒度民族服饰图像检索的全局-局部特征提取方法

民族服饰图像具有不同民族风格的服装款式、配饰和图案,导致民族服饰图像细粒度检索准确率较低.因此,文中提出细粒度民族服饰图像检索的全局-局部特征提取方法.首先,基于自定义的民族服饰语义标注,对输入图像进行区域检测,分别获得前景、款式、图案和配饰图像.然后在全卷积网络结构的基础上构建多分支的全局-局部特征提取模型,对不同区域的服饰图像进行特征提取,分别获得全局、款式、图案和配饰的卷积特征.最后,先对全局特征进行相似性度量,得到初步检索结果,再使用Top-50检索结果的局部特征与查询图像的局部特征进行重排序,优化排序并输出最终的检索结果.在构建的民族服饰图像数据集上的实验表明,文中方法有效提高民族服饰图像检索的准确率.     

基于模糊颜色特征和模糊相似度的图像检索方法

基于内容的图像检索系统的性能主要依赖于两个关键技术:图像特征提取和图像特征匹配.文中提取了所有图像的颜色特征,并在颜色特征提取过程中采用了适当的模糊算法以得到图像的模糊颜色特征.图像特征匹配主要取决于两个图像特征向量之间的相似度,文中提出了一种新的模糊相似度衡量方法,该方法利用给定的查询图像与其k幅近邻图像之间的相似度构成查询图像的k维模糊特征向量,利用每幅被检索图像与查询图像的k幅近邻图像之间的相似度构成每幅被检索图像的k维模糊特征向量,计算查询图像的k维模糊特征向量与每幅被检索图像的k维模糊特征向量之间的模糊相似度,并将检索到的图像按照模糊相似度按从大到小的顺序反馈给用户.为了验证提出的模糊颜色特征的有效性,文中在WANG数据集上进行了一系列的实验对比;为了衡量基于不同相似度的图像检索系统的性能,文中在WANG,Corel-5k和Corel-10k数据集上分别进行了一系列的实验对比.实验结果表明,基于最大最小值的图像检索系统的性能优于基于其他3种常用相似度的图像检索系统的性能,而基于模糊相似度的图像检索系统的性能优于基于最大最小值的图像检索系统的性能.在WANG,Corel-5k和Corel-10k数据集上,基于模糊相似度的图像检索系统检索到的前20幅图像的平均查准率比基于最大最小值的图像检索系统检索到的前20幅图像的平均查准率分别高4.92％,17.11％和19.48％;基于模糊相似度的图像检索系统检索到的前100幅图像的平均查准率比基于最大最小值的图像检索系统检索到的前100幅图像的平均查准率分别高4.94％,22.61％和33.02％.     

基于高低维度特征融合的双通道卷积神经网络

为了充分利用图像中所隐藏的特征信息,提出将低级维度特征融合在全连接层,构建出融合了高低级维度特征的双通道卷积神经网络。首先构建一个传统的双通道卷积神经网络,在两通道上设置不同大小的卷积核,将双通道的池化层分别连接到全连接层,同时将两通道卷积神经网络的第一池化层提取的特征也直接送到全连接层,使提取得到的初级和高级特征图在全连接层上进行融合,融合后的数据输入到Softmax分类器进行分类。不同算法在fashion-mnist和CIFAR-10数据库上的对比仿真结果表明,本文模型获得了较高的分类准确率。     

基于融合多层卷积特征的显著性区域提取

针对目前卷积神经网络提取图像特征不充分导致的显著性提取效果不明显的问题,提出了一种多层卷积特征融合的自编码显著性区域提取算法.在使用卷积网络提取图像特征时,其浅层卷积特征一般提取的是图像的细节特征如颜色、纹理和位置特征,深层次卷积特征一般是图像的语义特征,在编码层将浅层卷积特征经过下采样融合到深层次的卷积特征中,并将深层次卷积特征进行上采样融合到浅层卷积特征中,实验表明这样可以大大提高编码质量;在解码中将编码时的卷积特征也进行融合,可以获取到解码丢失的信息进而得到更优的解码图像.此外还设计了逐层监督的方式来指导解码层的训练,即用标准的区域提取图进行下采样作为每一层解码层的标准图进行监督训练.实验结果表明,该方法可以在PAGRN的基础上将F度量平均提升0.071,平均绝对误差MEA平均降低0.031.     

基于改进SSD算法的双目鱼群图像检测

针对水下鱼群图像对比度低、鱼群尺寸不一致以及双目图像拼接出现的伪影问题,通过改进SSD(single shot MultiBox detector)算法提高图像拼接精度,实现不同尺寸鱼群快速准确检测。借助卷积层重叠相加法融合多个卷积特征,增强各个特征层的特征强度;构建特征金字塔模型,实现低卷积层的高分辨率特征与高卷积层的语义特征的融合,提高水下低对比度图像中小目标鱼群的检测精度;利用两个相同的卷积模型进行特征匹配,依据反向传播机制将第六层匹配特征逐级映射到第四层,提高特征匹配精度。在Labeled fish in the wild数据集上对本文算法进行验证,对小目标鱼群的检测精度在90%以上。     

动态匹配核函数图像检索

目的 在传统的词袋模型图像搜索问题中,许多工作致力于提高局部特征的辨识能力。图像搜索得到的图像在细节部分和查询图像相似,但是有时候这些图像在语义层面却差别很大。而基于全局特征的图像搜索在细节部分丢失了很多信息,致使布局相似实则不相关的图像被认为是相关图像。为了解决这个问题,本文利用深度卷积特征来构建一个动态匹配核函数。方法 利用这个动态匹配核函数,在鼓励相关图像之间产生匹配对的同时,抑制不相关图像之间匹配对的个数。该匹配核函数将图像在深度卷积神经网络全连接层最后一层特征作为输入,构建一个动态匹配核函数。对于相关图像,图像之间的局部特征匹配数量和质量都会相对增强。反之,对于不相关的图像,这个动态匹配核函数会在减少局部特征匹配的同时,降低其匹配得分。结果 从数量和质量上评估了提出的动态匹配核函数,提出了两个指标来量化匹配核函数的表现。基于这两个指标,本文对中间结果进行了分析,证实了动态匹配核函数相比于静态匹配核函数的优越性。最后,本文在5个公共数据集进行了大量的实验,在对各个数据集的检索工作中,得到的平均准确率从85.11%到98.08%,均高于此领域的同类工作。结论 实验结果表明了本文方法是有效的,并且其表现优于当前这一领域的同类工作。本文方法相比各种深度学习特征提取方法具有一定优势,由于本文方法使用特征用于构建动态匹配内核,而不是粗略编码进行相似性匹配,因此能在所有数据集上获得更好的性能。     

基于转置卷积操作改进的单阶段多边框目标检测方法

针对单阶段多边框目标检测（SSD）模型在以高交并比（IoU）评估平均检测精度（mAP）时出现的精度下降问题,提出一种使用转置卷积操作构建的循环特征聚合模型。该模型以SSD模型为基础,使用ResNet 101作为特征提取网络。首先,利用转置卷积操作扩大网络结构中深层特征图的尺寸,为浅层特征图引入对目标的高层抽象和上下文信息;其次,使用全连接卷积层减少浅层特征图在进行特征聚合时出现偏差的可能性;最后,将浅层特征图与表示了上下文信息的深层特征图拼接,并使用1×1卷积操作恢复通道数。特征聚合过程可以循环进行多次。实验结果表明,使用KITTI数据集,以交并比（IoU）为0.7评估平均检测精度,与原始SSD模型相比,循环特征聚合模型的检测精度提高了5.1个百分点;与已有的精度最高Faster R-CNN相比,检测精度提高了2个百分点。循环特征聚合模型能有效提升平均目标检测精度,生成高质量的边界框。     

基于深度特征提取和DCT变换的图像复制粘贴篡改检测

针对图像复制粘贴篡改检测中算法时间复杂度过高和定位区域不完整的问题,提出一种基于深度特征提取和离散余弦变换的图像复制粘贴篡改检测算法。首先,融合图像颜色和纹理信息获得四通道图像,计算自适应特征提取阈值,并通过基于全卷积神经网络的特征检测器提取图像深度特征;其次,通过离散余弦变换提取块特征进行初步匹配,再利用点特征向量消除误匹配;最后,通过卷积运算精确定位篡改区域。通过在公共数据集上进行验证,充分展示了该算法在检测效率和定位区域完整性方面的优势。     

基于密集连接空洞卷积神经网络的青藏地区云雪图像分类

为了提高高纬度地区云雪卫星图像的识别准确率,提出了密集连接空洞卷积神经网络与空洞卷积相结合的方法进行云雪卫星图像识别研究。该方法首先采用常规卷积层对图像进行处理得到特征图,然后采用多个密集块和过渡层对特征图进行处理。其中,密集块中采用跨层连接的方式实现了网络中所用层的特征传递,使得大量云雪特征得到重用,同时减轻了训练过程中的梯度消失问题。密集块中的卷积核采用空洞卷积,在减少参数量的同时扩大局部感受野,对云雪的光谱信息进行特征提取。最后,该方法采用平均全局池化层与全连接层得到云雪图像的预测结果。实验结果表明,与其他机器学习方法相比,该方法能够提高卫星云雪图像的识别准确率,具有良好的泛化能力。