图像特征融合的行人重识别方法

行人重识别的目的是在跨区域、跨场景的情况下,检索出特定目标行人.由于行人外观可能相似,以及存在姿态变化和遮挡的问题,因此要求行人重识别模型能够捕捉到足够的细节信息.基于此,提出了图像特征融合的行人重识别算法,融合图像的全局特征与局部特征进行目标行人的检索.该算法构建了特征融合的图像通道,由卷积神经网络提取图像的视觉信息...     

基于一种改进的卷积神经网络的人脸识别系

近年来,人脸识别技术由于其直接、友好等特性,易于为用户所接受,逐渐在众多生物识别技术中脱颖而出。根据现场采集环境不同,人脸识别技术可以分为受控场景人脸识别和非受控场景人脸识别。受控场景下的人脸识别技术目前已经相当成熟,但非受控场景下的人脸识别技术由于受到光照、遮挡等一系列非可控因素的影响,使得人脸识别系统的识别准确率急剧下降。因此,针对由姿态变化或者饰物遮挡等原因造成的"数据缺失"现象,本课题设计出全连接层同时与卷积层和池化层全连接的CNN模型。鉴于卷积神经网络层数越高视野域越大的特性,这样的连接方式可以既考虑局部的特征,又考虑全局的特征。融合整体和局部的特征表示能够更好的应对数据缺失问题。     

基于Gist特征与CNN的场景分类方法

针对大多数场景分类方法只能学习浅层特征,忽略图像之间的相关结构信息,提出一种基于Gist特征与卷积神经网络结合的场景图像分类方法.其中Gist特征用于提取场景图像的全局特征,并将其作为深度学习模型的输入,通过逐层训练卷积神经网络,提取更高层次的特征,并用训练好的卷积神经网络进行分类.实验在O&T室外场景图像数据集和MNIST手写体数据集上考察了batchsize、卷积核对分类结果的影响,并与DBN,NN,SVM和CART作为分类器的分类结果进行比较,充分说明了本文方法的有效性.     

基于局部空间特征引导的表情识别算法

面部表情识别在计算机视觉任务中受到越来越多的关注，由于真实场景中的表情往往包含着大量由姿态、年龄、图像质量、标注等因素带来的噪声，大大增加了类内变化，给表情的分类任务带来了很大的困难。现有的基于此类问题的研究往往聚焦于数据本身，通过对数据进行筛选或者扩大模型接受的数据类型的形式提高识别能力，没有考虑到卷积网络本身对图像特征关注的局限性。针对该问题，提出了一种基于局部空间特征引导的卷积神经网络，对于特征图的某部分像素点进行强调，引导卷积网络的深层特征图能够关注到多个对分类有效的局部面部区域，同时使用对数据重标记的形式抑制由标签错误导致的噪声问题。经过在多个公开的表情识别数据集中测试，并与多个同类方法对比，所提方法具有较好的识别效果。     

基于卷积神经网络融合编码与解码特征的降水强度识别

为高效地利用红外降雨图进行雨量强度分类，提出了一个融合编码与解码卷积特征的雨量强度识别模型。引入编码与解码卷积于深度卷积神经网络分类模型中，在减少局部信息丢失的同时提取深层次的雨纹信息特征。于编码、解码卷积模块中考虑多尺度感受野卷积，融合不同范围的局部特征，同时在解码时融合相同尺度的编码与解码卷积特征图，提高特征利用率，从而构建一种融合编码与解码卷积特征的雨量强度识别模型。所提模型的分类精度优于主流卷积神经网络框架，分类正确率最高达到了91.7%，且消融实验结果验证了编码与解码模块的有效性。     

利用网格卷积特征的三维形变目标分类

三维目标的形状变化给目标识别带来很大挑战,同时三维网格模型的不规则数据结构难以直接应用卷积运算提取三维目标特征.对此,本文提出了一种高效的三维形变目标的网格卷积特征表示方法,准确提取形状信息并进行分类.首先通过网格卷积运算获得形变目标中典型局部曲面形状分布,其次通过马尔科夫链对曲面形状的空间共现关系建模,从而形成三维模型的全局特征描述,最后采用支持向量机实现形变目标分类.该方法将连续多项式函数作为卷积模板,实现针对不规则数据结构的网格卷积运算,并且给出了卷积模板参数的无监督学习方法.在标准非刚性三维模型数据集SHREC10与SHREC15上的实验结果表明本文方法能有效提取三维网格模型的形状信息,分类准确率分别达到了92.88%与96.54%.     

改进的卷积神经网络实现端到端的水下目标自动识别

由于水声信号的高度复杂性，基于特征工程的传统水下目标识别方法表现欠佳。基于深度学习模型的水下目标识别方法可有效减少由于特征提取过程带来的水声信号信息损失，进而提高水下目标识别效果。本文提出一种适用于水下目标识别场景的卷积神经网络结构，即在卷积模块化设计中引入卷积核为1的卷积层，更大程度地保留水声信号局部特征，且降低模型的复杂程度；同时，以全局平均池化层替代全连接层的方式构造基于特征图对应的特征向量主导分类结果的网络结构，使结果更具可解释性，且减少训练参数降低过拟合风险。实验结果表明该方法得到的水下目标识别准确率（91.7%）要优于基于传统卷积神经网络（69.8%）和基于高阶统计量特征的传统方法识别表现（85%）。这说明本文提出的模型能更好保留水声信号的时域结构，进而提高分类识别效果。      

基于层次自注意力的高效场景文本识别

在深度学习技术的发展驱动下,智慧应用场景对文本识别任务提出了更高的要求.现有方法更加侧重构建强大的视觉特征提取网络,忽略了文本序列特征的提取能力.针对该问题,提出了一种基于层次自注意力的场景文本识别网络.通过融合卷积和自注意力可以建立并增强文本序列信息与视觉感知信息间的联系.由于视觉特征和序列特征在全局空间中的充分交互...     

基于深度卷积神经网络的图像分类识别方法

图像分类是通过图片所给的特征信息将不同的事物进行识别的一种图像处理技术。随着科学技术的快速发展以及人们对生活质量越来越高的需求,图像的自动分类技术已经运用到各个发展领域当中。当我们在图像上进行分类操作时,传统的图像分类方法由于不能准确掌握识别对象之间的内在联系,同时传统方法也因数据的特征性维度太高而导致识别对象的特征表达受到限制,所以取得的实验结果并不理想。针对以上内容文章提出了一种基于卷积神经网络的图像检测方法,该实验的算法主要借鉴了深度学习及卷积神经网络。与以往的传统图像分类方法不同,深度卷积神经网络模型可以同时进行特征学习和图像分类。通过对实验的各个部分结构进行改进和对卷积神经网络模型进行优化,从而防止过拟合现象,继而提高图像检测的准确度,在CIFAR-10数据库上进行的实验表明,该方法改进后的深度学习模型在图像检测方面取得了有效的结果。     

深度卷积神经网络鉴别正交特征生成及其应用

针对现有深度卷积神经网络在小样本学习时的泛化性问题,本文提出一种鉴别正交特征生成方法.该方法通过正则化技术对网络非负中间层特征输出的异类正交度和同类相关度进行优化,生成具有稀疏特性的网络中间层鉴别正交特征.为有效调节稀疏度以控制网络容量,采用正则化系数自适应调节方式逼近预设特征稀疏度目标.为提高特征生成计算效率,进一步设计了随机2类别鉴别正交特征生成反向传播规则.随后在数据集MNIST上进行了小样本手写体数字识别对比实验,验证了本文方法的稀疏度调节特性和网络表达容量控制能力.通过反卷积可视化,进一步发现本文方法还具有衍生出的局部鉴别区域聚焦特性.最后,将鉴别正交特征生成卷积网络应用到老年痴呆症3D磁共振影像分析上.实验结果表明,本文方法用于老年痴呆症诊断,不仅诊断效果更好,而且利用其良好的局部聚焦性,还成功定位了老年痴呆症与健康对照组典型差异脑区.     

基于图像差分与卷积深度置信网络的表情识别

针对传统的人脸表情识别方法中提取表情特征时 没有去除个体性差异及突出表情关键部位的高层次 特征,本文提出一种将图像差分与改进的卷积深度置信网络(CDBN)相结合的表情识别方法 。首先对人 脸表情图片进行裁剪、降维等预处理,之后将各类表情图像与中性表情图像做差分运算提取 各类表情的差 分图像,为了提取表情关键部位的深层次特征,本文将卷积受限玻尔兹曼机(CRBM)的可见层 单元划分为多 个区域,分区进行特征学习,并将此CRBM堆叠起来,形成分区卷积深度置信网络(PCDBN), 之后将各表 情的差分图像作为PCDBN可视层的输入,并利用对比散度算法逐层训练网络,最后在顶层添 加softmax 分类器作为输出层以实现表情识别。在JAFFE和CK+表情库上的实验结果均达到了95%以上的识别率,扩 大训练样本后,在CK+表情库上的识别率可达99%以上。     

基于多分支卷积神经网络的车辆图像比对方法

为了更有针对性地从车辆图像的不同区域提取出独特的图像特征,提出基于多分支卷积神经网络的车辆图像比对方法.首先,根据车牌定位结果获取比对车辆的车脸图像,并根据车脸图像的纹理丰富度将车脸图像划分为多个图像块;其次,使用多分支卷积神经网络分别提取各车脸图像块的深度特征;最后,通过计算车脸图像深度特征的相似度判定比对的车辆图像是否属于同种车型.实验表明,提出的方法能够提取有效的车辆图像各区域的深度特征,获得良好的车辆比对准确率,可用于套牌车辆识别.     

基于双模态特征增强的目标检测算法研究与应用北大核心CSCD

为提升目标检测算法在复杂环境下的精确性和实用性,将多源信息和深度学习技术相结合,提出了一种基于双模态特征增强的目标检测方法。该方法以红外和可见光图像作为输入,利用颜色空间转换、边缘提取、直方图均衡化等传统图像处理方法丰富图像信息,达到数据增强效果;特征提取部分采用卷积神经网络结构分别提取目标红外及可见光信息,并设计混合注意力机制分别从通道和空间位置角度提升有效特征权重;同时,针对目标双模态信息,引入了自适应交叉融合结构,提高特征多样性;最后,利用交替上下采样将目标全局和局部特征充分融合,并以自主选择方式提取目标相关特征实现检测。通过在标准数据集以及实际场景数据集上的实验结果表明,所提方法有效融合并增强了目标多模态特征,提升了目标检测效果,并能较好的应用于电网场景中,辅助机器人完成目标设备检测。     

基于深度学习与特征融合的人脸识别算法

卷积神经网络在人脸识别研究上有较好的效果,但是其提取的人脸特征忽略了人脸的局部结构特征。针对此问题,文中提出一种基于深度学习与特征融合的人脸识别方法。该算法将局部二值模式信息与原图信息相结合作为SDFVGG网络的输入,使得提取的人脸特征更加丰富且更具表征能力。其中,SDFVGG网络是将VGG网络进行深浅特征相融合后的网络。在CAS-PEAL-R1人脸数据库上的实验表明,将网络深浅特征相融合与在卷积神经网络中加入LBP图像信息与原图信息相融合的特征信息对于提高人脸识别准确率非常有效,可得到优于传统算法和一般卷积神经网络的最高98.58%人脸识别率。     

红外与可见光图像多尺度Transformer融合方法

目前主流的深度融合方法仅利用卷积运算来提取图像局部特征,但图像与卷积核之间的交互过程与内容无关,且不能有效建立特征长距离依赖关系,不可避免地造成图像上下文内容信息的丢失,限制了红外与可见光图像的融合性能。为此,本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件,架构了Conv Swin Transformer Block模块,利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络,实现了图像全局特征提取与全局特征重构;设计了特征序列融合层,利用SoftMax操作计算特征序列的注意力权重系数,突出了源图像各自的显著特征,实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明,该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制,利用Transformer建立图像的长距离依赖关系,构建了图像全局特征融合模型,比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。     

Dynamic texture representation using a deep multi-scale convolutional network

This work addresses dynamic texture representation and recognition via a convolutional multilayer architecture. The proposed method considers an image sequence as a concatenation of spatial images along the time axis as well as spatio-temporal images along both horizontal and vertical axes of an image sequence and uses multilayer convolutional operations to describe each plane. The filters used are learned via principal component analysis (PCA) on each of the three orthogonal planes of an image sequence. A particularly advantageous attribute of the technique is the unsupervised training procedure of the proposed network. An inter-database evaluation has been performed to investigate the generalisation capability of the proposed approach. Moreover, a multi-scale extension of the proposed architecture is presented to capture texture details at multiple resolutions. Through extensive evaluations on different databases, it is shown that the proposed PCA-based network on three orthogonal planes (PCANet-TOP) yields very discriminative features for dynamic texture classification.     

采用深度卷积神经网络方法的毫米波图像目标检测

通过收集大量的毫米波图像并建立相应的人体数据集进行检测,提出基于Faster R-CNN深度学习的方法检测隐藏于人体上的危险物品。该方法将区域建议网络和VGG19训练卷积神经网络模型相结合,构建了面向毫米波图像目标检测的深度卷积神经网络。为了提高毫米波图像的处理能力,采用Caffe深度学习框架在图形处理单元上进行训练和测试。实验结果证明了基于Faster R-CNN深度卷积神经网络的目标检测方法能有效检测毫米波图像中的危险物品,并且目标检测的平均准确率约94%,检测速度约为6 frame/s,对毫米波安检系统的智能化发展有着极其重要的参考价值。     

基于双通道深度密集特征融合的遥感影像分类

为了提高遥感图像场景分类中特征有效利用率,进而提高遥感影像分类精度,采用基于双通道深度密集特征融合的遥感影像分类方法,进行了理论分析和实验验证。首先通过构建复合密集网络模型, 分别提取图像卷积层特征和全连接层特征;然后为挖掘、利用图像深层信息,通过视觉词袋模型将提取的深层卷积层特征进行重组编码,捕获图像深层局部特征;最后采用线性加权方式将局部和全局特征融合、分类。结果表明,选用数据集UC Merced Land-Use和NWPU-RESISC45进行实验,取得的分类精度分别为93.81%和92.62%。该方法充分利用局部特征和全局特征的互补性,能实现图像深层信息的充分利用和表达。     

MLDNet: Multi-level dense network for multi-focus image fusion

In this study, we propose a new deep learning architecture named Multi-Level Dense Network (MLDNet) for multi-focus image fusion (MFIF). We introduce shallow and dense feature extraction in our feature extraction module to extract images features in a more robust way. In particular, we extracted the features from a mixture of many distributions from prior to the complex distribution through densely connected convolutional layers, then the extracted features are fused to form dense local feature maps. We added global feature fusion into the proposed architecture in order to merge the dense local feature maps of each source image into a fused image representation for the reconstruction of the final fused image. Our proposed MLDNet learns feature extraction, feature fusion and reconstruction within the same network to provide an end-to-end solution for MFIF. Experimental results demonstrate that our proposed method achieved significant performance against different state-of-the-art MFIF methods.     

基于筛选深度特征的红外图像目标识别方法

红外成像是现代战场侦察的重要手段,基于红外图像的目标识别技术可为情报解译提供重要支撑。针对红外图像目标识别,提出基于筛选深度特征的方法。设计适当结构的ResNet对红外图像进行特征学习,对于每个卷积层的输出特征图进行矢量化处理,获得相应的特征矢量。针对各个特征图的深度特征矢量,基于斯皮尔曼等级相关系数评价它们与原始图像的相关性。然后,通过门限判决算法选取若干具有高相关性的深度特征。经过筛选得到的深度特征可剔除了不必要的冗余成分,从而提升后续分类的精度和稳健性。采用联合稀疏表示模型对筛选得到的若干深度特征进行表征和分类,最终获取待识别样本的所属类别。因此,方法可有效结合ResNet多层次深度特征的鉴别力,从而提高最终的识别性能。实验在公开的中波红外目标图像数据集（MWIR）开展,利用原始测试样本、模拟噪声样本和模拟遮挡样本对方法性能进行测试和分析。实验结果表明:相比现有的部分红外目标识别方法,提出方法可取得更强的有效性和稳健性。