深度特征的实例图像检索算法综述

基于内容的图像检索算法（CBIR）目标是在数量庞大的图像数据库中通过分析视觉内容,找出与查询图像在语义上匹配或相近的图像。其中通过特征提取获得具有判别性的图像表示对检索结果至关重要。随着深度学习的不断发展,图像检索中使用的图像特征表示方法也逐渐由原来的基于手工特征的方法转变为基于深度特征的方法。通过从特征提取的不同方法角度出发,回顾并追踪了最近基于深度特征的图像检索算法。对基于深度特征的图像检索算法分为基于深度全局特征与基于深度局部特征的图像检索算法两方面进行综述,其中在基于深度局部特征算法中重点关注了深度卷积特征聚合技术。并对现在广泛应用的深度全局与局部特征融合的图像检索方法进行归纳。探讨了深度特征的实例图像检索技术在遥感图像检索、电子商务产品检索和医疗图像检索领域中的实际应用,并比较这些特征提取算法在图像检索精度方面的表现。最后展望了深度特征提取技术在实例图像检索领域的未来研究趋势。     

局部感受野的宽度学习算法及其应用

为了更快且更准确地对图像进行识别,提出了基于局部感受野的宽度学习算法（Local Receptive Field based Broad Learning System,BLS-LRF）,该方法以宽度学习网（Broad Learning System,BLS）为基础模型,与局部感受野（LRF）的思想相结合,从局部特征和全局特征两方面对图像进行特征提取。采用两种图像数据集对网络进行研究,将研究结果和许多传统神经网络进行对比,结果表明BLS-LRF网络的测试精度不仅超过了传统网络的测试精度,而且训练过程所需要的时间有了很大程度的缩短。     

几种基于内容的图像检索的方法

基于内容的图像检索（CBIR）技术依赖于对图像特征（例如颜色直方图、纹理、草图、形状等）的提取，相对于传统的基于文本的图像检索方式，这种方式提高了检索效率和检索的准确率。文中主要介绍了基于颜色和基于纹理特征这两种特征提取方法。这两种方法既能够反映全局特征，又能够兼顾所感兴趣区域的局部特征，是基于内容的图像检索的两种非常有效的方法。     

基于显著性语义区域加权的图像检索算法

针对计算视觉领域图像实例检索的问题，提出了一种基于深度卷积特征显著性引导的语义区域加权聚合方法。首先提取深度卷积网络全卷积层后的张量作为深度特征，并利用逆文档频率（IDF）方法加权深度特征得到特征显著图；然后将其作为约束，引导深度特征通道重要性排序以提取不同特殊语义区域深度特征，排除背景和噪声信息的干扰；最后使用全局平均池化进行特征聚合，并利用主成分分析（PCA）降维白化得到图像的全局特征表示，以进行距离度量检索。实验结果表明，所提算法提取的图像特征向量语义信息更丰富、辨识力更强，在四个标准的数据库上与当前主流算法相比准确率更高，鲁棒性更好。     

基于三维残差稠密网络的人体行为识别算法

针对现有的人体行为识别算法不能充分利用网络多层次时空信息的问题,提出了一种基于三维残差稠密网络的人体行为识别算法。首先,所提算法使用三维残差稠密块作为网络的基础模块,模块通过稠密连接的卷积层提取人体行为的层级特征;其次,经过局部特征聚合自适应方法来学习人体行为的局部稠密特征;然后,应用残差连接模块来促进特征信息流动以及减轻训练的难度;最后,通过级联多个三维残差稠密块实现网络多层局部特征提取,并使用全局特征聚合自适应方法学习所有网络层的特征用以实现人体行为识别。设计的网络算法在结构上增强了对网络多层次时空特征的提取,充分利用局部和全局特征聚合学习到更具辨识力的特征,增强了模型的表达能力。在基准数据集KTH和UCF-101上的大量实验结果表明,所提算法的识别率（top-1精度）分别达到了93.52％和57.35％,与三维卷积神经网络（C3D）算法相比分别提升了3.93和13.91个百分点。所提算法框架有较好的鲁棒性和迁移学习能力,能够有效地处理多种视频行为识别任务。     

基于特征聚合的铜合金金相图分类识别方法

针对铜合金成分检测过程中产生的时滞问题，提出一种基于特征聚合的铜合金金相图分类识别方法。首先，在特征提取阶段，构建灰度共生矩阵（GLCM）和基于卷积注意力模块的残差网络（ResNet）模型分别提取图像的全局与局部特征；其次，在特征聚合阶段，将提取到的特征规范化后进行简单的级联；最后，在分类识别阶段，使用支持向量机（SVM）精确分类。实验结果表明，所提方法的准确率达到了98.963%、宏F1达到了98.996%，优于基于单特征的机器学习方法。可见，不同的方法提取的特征经过聚合后可以更全面地描述铜合金金相图的纹理及边缘信息，所提方法可以通过金相图识别不同铜合金，提升了识别的准确率，且具有良好的鲁棒性。     

基于双尺度特征融合的单幅图像去雾网络

基于深度学习的图像去雾方法在合成数据集上表现良好,但在真实场景中应用时存在去雾不彻底、颜色失真等问题。提出一种新的单幅图像去雾网络,该网络包含特征提取、特征融合2个模块。在特征提取模块中,通过残差密集块和具有空间注意机制的特征提取块分别提取图像的局部特征和全局特征。在特征融合模块中,利用通道注意力机制对局部特征图和全局特征图进行通道加权,并通过卷积操作融合加权后的局部特征图与全局特征图。最后,采用门控网络自适应结合3个不同深度的融合特征图,以恢复高质量的去雾图像。实验结果表明,所提网络在室内数据集下的峰值信噪比(PSNR)和结构相似度（SSIM）分别为33.04 dB、0.983,在HAZERD数据集下的PSNR和SSIM分别比GridDehazeNet网络高出1.33 dB和0.041。同时,该网络的模型参数量和浮点运算数分别为0.34M和16.06×109frame/s,具有较低复杂度,对合成图像和真实图像均可取得理想的去雾效果。     

全局—局部特征优化的时尚服饰搭配

目的 由于现有时尚服饰搭配方法缺乏服饰图像局部细节的有效特征表示,难以对不同服饰间的局部兼容性进行建模,限制了服饰兼容性学习的完备性,导致时尚服饰搭配的准确率较低。因此,提出一种全局—局部特征优化的时尚服饰搭配方法。方法 首先,利用不同卷积网络提取时尚服饰的图像和文本特征作为全局特征,同时在卷积网络基础上构建局部特征提取网络,提取时尚服饰图像的局部特征;然后,基于图网络和自注意力机制构建全局—局部兼容性学习模块,通过学习不同时尚服饰全局特征间和局部特征间的交互关系,并定义不同时尚服饰的权重,进行服饰全局和局部兼容性建模;最后,构建服饰搭配优化模型,通过融合套装中所有服饰的全局和局部兼容性优化服饰搭配,并计算搭配得分,输出正确的服饰搭配结果。结果 在公开数据集Polyvore上将本文方法与其他方法进行对比。实验结果表明,利用局部特征提取网络提取的时尚服饰图像局部特征能有效地表示服饰局部信息;构建的全局—局部兼容性学习模块对时尚服饰的全局兼容性和局部兼容性进行了完整建模;构建的时尚服饰搭配优化模型实现了全局和局部兼容性的优化组合,使时尚服饰搭配准确率（fill in the blank,F...     

基于深度学习的SIFT图像检索算法

深度学习作为一个新的机器学习方向,被应用到计算机视觉领域上成效显著.为了解决分布式的尺度不变特征转换（Scale-Invariant Feature Transform,SIFT）算法效率低和图像特征提取粗糙问题,提出一种基于深度学习的SIFT图像检索算法.算法思想：在Spark平台上,利用深度卷积神经网络（Convolutional Neural Network,CNN）模型进行SIFT特征抽取,再利用支持向量机（Support Vector Machine,SVM）对图像库进行无监督聚类,然后再利用自适应的图像特征度量来对检索结果进行重排序,以改善用户体验.在Corel图像集上的实验结果显示,与传统SIFT算法相比,基于深度学习的SIFT图像检索算法的查准率和查全率大约提升了30个百分点,检索效率得到了提高,检索结果图像排序也得到了优化.     

基于深度学习的人体行为识别综述

人体行为识别旨在对视频监控中的人体行为进行检索并识别,是人工智能领域的研究热点。基于传统方法的人体行为识别算法存在对样本数据依赖大、易受环境噪声影响等不足。为解决此问题,许多适用于不同应用场景的基于深度学习的人体行为识别算法被提出。介绍了人体行为识别任务中传统特征提取方法和基于深度学习的特征提取方法;从性能和应用两方面对基于深度学习的人体行为识别算法进行总结,重点分析了基于3D卷积神经网络、混合网络、双流卷积神经网络和少样本学习（few-shot learning,FSL）的人体行为识别方法及其在UCF101和HMDB51数据集上的表现;在深度学习的基础上,归纳了主流模型迁移方法的优缺点及其有效性;总结了现有基于深度学习的人体行为识别算法存在的不足,并讨论了以元学习（meta-learning）和transformer为代表的FSL算法将成为未来模型主流算法的可能性,同时对未来基于深度学习的人体行为识别算法的发展方向进行展望。     

基于改进深度学习的图像敏感信息识别研究

对网站图像敏感信息识别检测问题，提出一种基于改进深度学习的图像敏感信息识别方法。通过特征融合网络，将经全局优化后的区域检测网络与全局识别网络提取特征相融合，并引入注意力机制，对图像中包含敏感部位的区域进行加权聚焦，提高模型检测效率和准确性。实验证明，采用通过全局特征优化后的区域检测网络，平均检测精度提高1%,相较于SSD、Faster R-CNN等目标生成网络，平均检测精度高8.54%与10.63%,提取结果更精准；融合局部特征的全局识别网络，识别精度随着局部特征提取准确度上升而上升，当提取种类到达10种时，识别精度比未加入高1.8%;通过引入注意力机制，本模型检测准确率提升明显，当聚焦点数为7时，比未引入高0.7%;最终，相较于未包含局部特征的ResNet50网络、虽然未包含局部特征但结构更复杂的ResNet101网络，与虽然考虑局部特征，但未与全局特征进行融合的DMCNet网络，本模型检测准确率平均高出3.25%、2.15%和6%,且耗费时间较短，具有更高的鉴别力和检测效率。     

基于语义信息跨层特征融合的细粒度鸟类识别

有效识别各种鸟类目标具有重要的生态环境保护意义。针对不同种类鸟类之间差别细微、识别难度大等问题,提出一种基于语义信息跨层特征融合的细粒度鸟类识别模型。该模型由区域定位网络、特征提取网络和一种跨层特征融合网络(Cross-layer Feature Fusion Network,CFF-Net)组成。区域定位网络在没有局部语义标注的情况下,自动定位出局部有效信息区域;特征提取网络提取局部区域图像特征和全局图像特征;CFF-Net对多个局部和全局特征进行融合,提高最终分类性能。结果表明,该方法在Caltech-UCSD Birds200-2011(CUB200-2011)鸟类公共数据集上,取得了87.8%的分类准确率,高于目前主流的细粒度鸟类识别算法,表现出优异的分类性能。     

几种基于内容的图像检索的方法

基于内容的图像检索(CBIR)技术依赖于对图像特征(例如颜色直方图、纹理、草图、形状等)的提取,相对于传统的基于文本的图像检索方式,这种方式提高了检索效率和检索的准确率。文中主要介绍了基于颜色和基于纹理特征这两种特征提取方法。这两种方法既能够反映全局特征,又能够兼顾所感兴趣区域的局部特征,是基于内容的图像检索的两种非常有效的方法。     

基于多模态注意力机制的跨模态哈希网络

深度跨模态哈希算法（deep cross-modal Hash,DCMH）可以结合哈希算法存储成本低、检索速度快的优点,以及深度神经网络提取特征的强大能力,得到了越来越多的关注。它可以有效地将模态的特征和哈希表示学习集成到端到端框架中。然而在现有的DCMH方法的特征提取中,基于全局表示对齐的方法无法准确定位图像和文本中有语义意义的部分,导致在保证检索速度的同时无法保证检索的精确度。针对上述问题,提出了一种基于多模态注意力机制的跨模态哈希网络（HX＿MAN）,将注意力机制引入到DCMH方法中来提取不同模态的关键信息。利用深度学习来提取图像和文本模态的全局上下文特征,并且设计了一种多模态交互门来将图像和文本模态进行细粒度的交互,引入多模态注意力机制来更精确地捕捉不同模态内的局部特征信息,将带有注意的特征输入哈希模块以获得二进制的哈希码;在实行检索时,将任一模态的数据输入训练模块中来获得哈希码,计算该哈希码与检索库中哈希码的汉明距离,最终根据汉明距离按顺序输出另一种模态的数据结果。实验结果表明：HX＿MAN模型与当前现有的DCMH方法相比更具有良好的检索性能,在保证检索速度的同时,能够更准确...     

基于草图局部几何不变矩的图像检索方法

利用草图进行图像检索的难点在于对不同尺度、位置、旋转及形变图像的有效检索。为了更准确地识别并检索不同尺度、位置和旋转的图像,提出一种基于草图局部几何不变矩的图像检索方法（SBIRULGMI）。首先,利用图像的几何特征分别确定各图像的坐标系;然后,在生成的坐标系中对图像进行平均分块并计算各块的几何不变矩作为特征向量;接着,用改进的欧氏距离计算目标图像与数据库图像的相似度;最后,采用蚁群（ACO）算法对按照相似度排序后的检索结果进行优化。所提方法在MPEG-7 shape1 part B图像数据库的检索识别准确率比形状上下文（SC）、边缘分布直方图（EOH）、局部线性高波特征（GALIF）及MindFinder方法平均提高了17个百分点。实验结果表明该方法对不同平移、缩放和翻转的图像有较好的识别效果,对图像一定程度的旋转和形变具有更好的鲁棒性。     

结合改进CNN和双线性模型的CBIR方法

针对现有基于内容的图像检索（Content-Based Image Retrieval,CBIR）方法中图像特征维度较大等问题,提出一种结合改进卷积神经网络（Convolutional Neural Network,CNN）和双线性模型的CBIR方法。采用一种低维度池化方法代替传统CNN中的池化过程,以此降低图像特征映射的维度。基于双线性模型的思想,使用两个特征提取器进行特征提取,并在每个图像位置上对两个特征进行内积,以形成最终的图像描述符。通过计算图像间的曼哈顿距离度量来评估相似性,获得相关图像及其排序。实验结果表明,该方法能够准确检索出相关图像,并具有较低的检索时间和内存消耗。     

基于PCA与LBP的人脸性别分类方法

主成分分析方法（PCA）和局部二元模式算子（LBP）相融合的特征提取方法结合了PCA在提取全局特征方面的优势和LBP在提取局部纹理细节方面的优势,能够从人脸图像中提取出较好的用于支持向量机（SVM）进行人脸性别识别分类的特征。在提取图像的LBP特征时,对传统的LBP方法做了改进,采用级联的方法提取图像的LBP直方图特征。并将提取出来的LBP特征与PCA特征相结合用于SVM,实验结果表明,LBP和PCA相融合的特征较单独的PCA特征和LBP特征在性别识别上具有明显的优势。     

基于视图融合和注意力机制的三维小目标识别

三维小目标识别是点云处理中的一个重要问题。针对小目标探测中点云稀疏导致网络提取特征少的问题，提出一种基于视图融合和注意力机制的点云识别网络。传统网络直接作用于单视角点云，其特征只包含目标的一部分，因此提出采用视图融合聚合不同视角下的局部点，以此增强全局特征。接着，针对聚合后的全局点特征提取困难的问题，提出采用注意力机制突出关键局部特征。实验结果表明，提出的方法在公开数据集ModelNet和真实环境中采集的Aircraft数据集上的效果都优于其它流行算法。