基于高层特征图组合及池化的高分辨率遥感图像检索

高分辨率遥感图像内容复杂,提取特征来准确地表达图像内容是提高检索性能的关键。卷积神经网络(CNN)迁移学习能力强,其高层特征能够有效迁移到高分辨率遥感图像中。为了充分利用高层特征的优点,该文提出一种基于高层特征图组合及池化的方法来融合不同CNN中的高层特征。首先将高层特征作为特殊的卷积层特征,进而在不同输入尺寸下保留高层输出的特征图;然后将不同高层输出的特征图组合成一个更大的特征图,以综合不同CNN学习到的特征;接着采用最大池化的方法对组合特征图进行压缩,提取特征图中的显著特征;最后,采用主成分分析(PCA)来降低显著特征的冗余度。实验结果表明,与现有检索方法相比,该方法提取的特征在检索效率和准确率上都有优势。     

基于注意力机制辅助的空谱联合残差网络的高光谱图像分类

卷积神经网络（convolutional neural network,CNN）是高光谱图像分类中一种常用的方法,有着较好的分类表现。然而,CNN不可避免地会提取出一些冗余特征,这对高光谱图像分类的准确率造成干扰。此外,高光谱图像分类还面临着同谱异物、同物异谱问题。为了解决以上这些问题,提出了一种基于注意力机制辅助空谱联合残差网络的高光谱图像分类方法。一方面,通过使用注意力机制辅助的3-D、2-D残差网络,同时从光谱维度和空间维度提取空谱联合特征,克服同谱异物、同物异谱问题;另一方面,引入通道注意力机制和空间注意力机制,有效降低了冗余空谱特征的干扰。在2种高光谱数据集上的实验结果表明,相比同类对比算法,所提出的方法具有更优越的分类性能。     

基于多目标区域的图像检索

针对传统的基于目标区域的图像检索算法中存在的"语义鸿沟"问题,以及基于全局特征的图像检索算法不能很好地处理多目标检索问题,提出了一种基于多目标区域的图像检索模型,并实现了一款高效的检索算法.首先借助于目标检测算法定位出图像中的目标,然后使用卷积神经网络(CNN)提取各个目标的特征,最后采用新提出的多目标区域相似度测量方法计算其与数据库图像的相似度并返回检索结果.实验表明,所提算法与现有的其他检索算法相比,在多目标图像检索任务上性能更佳.     

基于多通道注意力机制的文本分类模型

为解决卷积神经网络(CNN)和循环神经网络(RNN)处理文本分类任务时,由于文本特征稀疏造成的关键特征信息丢失、模型性能不高和分类效果不佳等问题.提出一种基于多通道注意力机制的文本分类模型,首先利用字词融合的形式进行向量表示,然后利用CNN和BiLSTM提取文本的局部特征和上下文关联信息,接着以注意力机制对各通道的输出...     

基于深度学习的探地雷达二维剖面图像结构特征检测方法

该文针对探地雷达(GPR) 2维剖面图像中目标特征提取困难及其识别精度较低等问题,采用深度学习方法来提取2维剖面图像中目标的特征双曲线。根据GPR工作的物理机制,设计了一种级联结构的卷积神经网络(CNN),先检测并去除回波数据中的直达波干扰信号,再利用CNN得到B扫描(B-SCAN)图像的特征图,并对特征信号进行分类识别以提取目标的特征双曲线。同时,为处理各种干扰信号影响目标特征双曲线结构完整性的问题,提出了一种基于方向引导的特征数据补全方法,提高了目标特征双曲线识别的准确率。与方向梯度直方图(HOG)算法、单级式目标检测(YOLOV3)算法和更快速的区域卷积神经网络(Faster RCNN)算法相比,在综合评价指标F上该文方法的检测结果是最优的。     

一种基于改进CNN和FCN模型的裂缝检测方法

人们一直在探索精确快速识别混凝土墙、瓷砖等建筑材料的裂缝检测方法。基于此,提出一种基于改进卷积神经网络模型(CNN)和完全卷积神经网络模型(FCN)的裂缝识别算法。首先,通过改进的CNN模型定位裂缝区域,排除非裂缝区的斑点、阴影、水渍、涂鸦等干扰因素;然后,通过FCN模型对CNN结果进行再处理,得到精确的裂缝定位图;最后采用统计函数提取裂缝的长度、宽度等特征。结果表明,此算法的检测精度高,耗时短,能有效识别混凝土和瓷砖图像上的裂缝。     

复杂电磁环境下基于信号时频图像的调制识别

为解决调制识别研究中较少考虑到不同信号的特征之间联系性的问题,搭建了卷积神经网络(CNN)来提取信号的彩色时频图对应的特征,并利用时频变换的分析方法,将一维信号处理成彩色时频图,通过卷积神经网络架构提取图像特征;同时为了提升算法在低信噪比下的分类识别准确率,对时频图像的纹理特征进行了特征提取,将提取到的纹理特征与卷积神经网络中提取到的特征进行特征融合。仿真实验结果表明,采用的时频卷积神经网络(TF–CNN)和TF–Resnet网络框架能够达到高精确度信号自动调制识别分类的目的。     

一种基于视觉感知的舰船目标智能化识别方法

为有效识别视觉系统采集的可见光图像中的舰船目标,提出了基于YOLO（You Only Look Once）网络模型改进的10层的卷积神经网络（Convolutional Neural Network,CNN）用于水面舰船目标的智能识别,通过反卷积的方法可视化CNN中不同卷积层提取到的舰船目标特征。按照传统目标识别方法提取了舰船目标的四类典型人工设计特征,将所提CNN的舰船目标识别结果与YOLO网络模型及四类人工设计特征结合支持向量机用于舰船目标识别的结果进行比较。实验结果表明,与YOLO网络模型相比,综合精确率、召回率和效率3个舰船目标识别的性能指标,改进后的CNN性能更好,从而验证了所提方法的有效性。不同数据量下采用典型特征识别舰船目标与基于深度CNN识别舰船目标的识别结果比较说明了不同类型目标识别算法的优劣势,有利于推动综合性视觉感知框架的构建。     

基于多尺度圆周频率滤波与卷积神经网络的遥感图像飞机目标检测方法研究

针对遥感图像飞机目标检测因目标尺度不一存在漏警、虚警等问题,该文基于遥感图像中飞机目标形状特征和灰度变化特点提出了一种多尺度圆周频率滤波(MSCFF)与卷积神经网络(CNN)相结合的MSCFF+CNN飞机目标自动检测算法。该算法首先采用多尺度圆周频率滤波器滤除遥感图像复杂背景,实现不同尺度飞机目标候选区域提取;然后,通过构建卷积神经网络(CNN)模型实现候选区域有效分类,最终精确确定飞机目标位置。最后,基于获取的真实遥感图像进行目标检测算法实验验证,经统计该算法的飞机目标检测率为94.38%,虚警率为3.76%,实验结果充分验证了该文算法的有效性,该算法可为机场监管、军事侦察等应用提供重要的技术支持。     

基于深度学习的复杂背景图像分类方法研究

复杂背景图像受背景干扰后不易被识别。针对这一问题,文中提出了基于前景分割机制的卷积神经网络图像分类方法。采用全卷积神经网络对图像前景区域进行自动分割,通过图像中前景区域周围的最小边界框对其进行定位。对于定位的前景区域,构建卷积神经网络对其进行处理以区分不同的类别,从而实现复杂背景图像的分类。将提出方法在公开数据集中提取的单一背景和复杂背景图像数据集上进行对比实验,并使用迁移学习与数据增强等方法优化模型。实验结果表明,所提方法使用前景区域分割相比于仅分类CNN具有更高的准确度,且复杂背景图像上的准确度提升幅度要远大于单一背景图像。该结果说明引入前景区域分割对于复杂背景图像分类模型准确度的提升具有一定帮助,能够显著前景区域特征并减少背景因素的干扰。     

Research on image feature extraction and retrieval algorithms based on convolutional neural network

With the rapid development of mobile Internet and digital technology, people are more and more keen to share pictures on social networks, and online pictures have exploded. How to retrieve similar images from large-scale images has always been a hot issue in the field of image retrieval, and the selection of image features largely affects the performance of image retrieval. The Convolutional Neural Networks (CNN), which contains more hidden layers, has more complex network structure and stronger ability of feature learning and expression compared with traditional feature extraction methods. By analyzing the disadvantage that global CNN features cannot effectively describe local details when they act on image retrieval tasks, a strategy of aggregating low-level CNN feature maps to generate local features is proposed. The high-level features of CNN model pay more attention to semantic information, but the low-level features pay more attention to local details. Using the increasingly abstract characteristics of CNN model from low to high. This paper presents a probabilistic semantic retrieval algorithm, proposes a probabilistic semantic hash retrieval method based on CNN, and designs a new end-to-end supervised learning framework, which can simultaneously learn semantic features and hash features to achieve fast image retrieval. Using convolution network, the error rate is reduced to 14.41% in this test set. In three open image libraries, namely Oxford, Holidays and ImageNet, the performance of traditional SIFT-based retrieval algorithms and other CNN-based image retrieval algorithms in tasks are compared and analyzed. The experimental results show that the proposed algorithm is superior to other contrast algorithms in terms of comprehensive retrieval effect and retrieval time.     

Robust image retrieval by cascading a deep quality assessment network

The performance of computer vision algorithms can severely degrade in the presence of a variety of distortions. While image enhancement algorithms have evolved to optimize image quality as measured according to human visual perception, their relevance in maximizing the success of computer vision algorithms operating on the enhanced image has been much less investigated. We consider the problem of image enhancement to combat Gaussian noise and low resolution with respect to the specific application of image retrieval from a dataset. We define the notion of image quality as determined by the success of image retrieval and design a deep convolutional neural network (CNN) to predict this quality. This network is then cascaded with a deep CNN designed for image denoising or super resolution, allowing for optimization of the enhancement CNN to maximize retrieval performance. This framework allows us to couple enhancement to the retrieval problem. We also consider the problem of adapting image features for robust retrieval performance in the presence of distortions. We show through experiments on distorted images of the Oxford and Paris buildings datasets that our algorithms yield improved mean average precision when compared to using enhancement methods that are oblivious to the task of image retrieval. ¹     

基于多尺度注意力CNN的SAR遥感目标识别

目标识别是合成孔径雷达（Synthetic Aperture Radar,SAR）图像解译的重要步骤。鉴于卷积神经网络（Convolutional Neural Network, CNN）在自然图像分类领域表现优越,基于CNN的SAR图像目标识别方法成为了当前的研究热点。SAR图像目标的散射特征往往存在于多个尺度当中,且存在固有的噪声斑,含有冗余信息,因此,SAR图像目标智能识别成为了一项挑战。针对以上问题,本文提出一种多尺度注意力卷积神经网络,结合多尺度特征提取和注意力机制,设计了基于注意力的多尺度残差特征提取模块,实现了高精度的SAR遥感图像目标识别。该方法在MSTAR数据集10类目标识别任务中的总体准确率达到了99.84%,明显优于其他算法。在测试集加入4种型号变体后,10类目标识别任务中的总体准确率达到了99.28%,验证了该方法在复杂情况下的有效性。     

基于卷积神经网络与注意力机制的高光谱图像分类

由于浅层卷积神经网络(convolutional neural network,CNN)模型感受野的限制,无法捕获远距离特征,在高光谱图像 (hyperspectral image,HSI) 分类问题中无法充分利用图像空间-光谱信息,很难获得较高精度的分类结果。针对上述问题,本文提出了一种基于卷积神经网络与注意力机制的模型(model based on convolutional neural network and attention mechanism,CNNAM),该模型利用CA (coordinate attention)对图像通道数据进行位置编码,并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取以解决CNN感受野的限制问题。CNNAM在Indian Pines和Salinas两个数据集上得到的总体分类精度分别为97.63%和99.34%,对比于其他模型,本文提出的模型表现出更好的分类性能。另外,本文以是否结合CA为参考进行了消融实验,并证明了CA在CNNAM中发挥重要作用。实验证明将传统CNN与注意力机制相结合可以在HSI分类问题中获得更高的分类精度。     

基于改进哈希算法的图像检索方法

当前主流图像检索技术所采用的传统视觉特征编码缺少足够的学习能力,影响学习得到的特征表达能力。此外,由于视觉特征维数高,会消耗大量的内存,因此降低了图像检索的性能。文中基于深度卷积神经网络与改进的哈希算法,提出并设计了一种端到端训练方式的图像检索方法。该方法将卷积神经网络提取的高层特征和哈希函数相结合,学习到具有足够表达能力的哈希特征,从而在低维汉明空间中完成对图像数据的大规模检索。在两个常用数据集上的实验结果表明,所提出的哈希图像检索方法的检索性能优于当前的一些主流方法。     

基于矢量量化压缩密集连接层的图像压缩研究

针对卷积神经网络(CNN)在图像压缩耗费较大存储空间问题,文中通过研究压缩CNN参数的矢量量化方法解决了CNN模型的存储问题。通过压缩密集连接层的存储方式使得矢量量化方法比现有的矩阵分解方法更具优势。将k-均值聚类(KM)应用于权重和乘积量化可以在模型大小和识别精度之间取得较好的权衡。实验结果表明,结构化量化方法的效果明显优于其他方法,通过对图像压缩检索验证了压缩模型的泛化能力。     

一种结合三重注意力机制的双路径网络胸片疾病分类方法

近年来,利用CNN进行医学图像处理,在胸片疾病分类任务中取得显著研究进展。然而,与单一结构CNN相比,双路径网络可结合不同CNN特点,从而提高疾病分类能力。其次,对于不同疾病,其位置、大小、形态、密度、纹理等特征均有不同,而注意力机制有助于模型提取不同病理特征,提升分类精度。因此针对胸片疾病分类问题,该文提出一种结合三重注意力机制的双路径卷积神经网络(TADPN),TADPN将ResNet和DenseNet结合的双路径网络DPN作为骨干网络,并利用3种不同形式的注意力机制改进DPN,在维持参数量稳定的同时提高网络复杂度,进而提升对胸片疾病的分类精度。在ChestXray14数据集上实验,并与目前较为先进的6种算法对比,14种疾病的平均AUC值达到0.8185,较前人提升1.1%,表明双路径CNN及三重注意力机制对胸片疾病分类的有效性及TADPN的先进性。     

A simple and effective static gesture recognition method based on attention mechanism

To solve the problem of low sign language recognition rate under the condition of small samples, a simple and effective static gesture recognition method based on an attention mechanism is proposed. The method proposed in this paper can enhance the features of both the details and the subject of the gesture image. The input of the proposed method depends on the intermediate feature map generated by the original network. Also, the proposed convolutional model is a lightweight general module, which can be seamlessly integrated into any CNN(Convolutional Neural Network) architecture and achieve significant performance gains with minimal overhead. Experiments on two different datasets show that the proposed method is effective and can improve the accuracy of sign language recognition of the benchmark model, making its performance better than the existing methods.