基于多粒度与自修复融合的人脸表情识别

为有效提取和融合表情多粒度特征信息，降低自然场景人脸表情数据集存在不确定性和错误数据等因素致使准确率难以满足现实需求的问题，基于深度卷积神经网络提出多粒度与自修复融合的表情识别模型。采用拼图生成器生成不同粒度图像，利用渐进式的训练过程学习不同粒度图像之间互补的特征信息，采用自修复方法避免网络过度拟合错误样本图像，对错误样本进行重新标注。在AffectNet数据集和RAF-DB数据集上准确率分别达到了63.94%和87.10%,实验结果表明，该模型具有较高的准确率和良好的鲁棒性。     

结合双胞胎结构与生成对抗网络的半监督遥感图像融合

针对当前遥感图像融合算法中存在的标签图像难获取和光谱畸变等问题,提出一种采用双胞胎结构的半监督遥感图像融合方法.采用了由生成器和鉴别器组成的生成对抗网络结构,其中生成器包含编码器和解码器.首先,对多光谱图像进行放大并转换到HSV空间;将多光谱图像的V通道和全色图像分别送入编码器中的双胞胎网络后,通过卷积层和多重跳层连接模型来提取图像特征;然后,将获得的特征送入解码器进行图像重构;再利用鉴别器对融合后的V通道图像进行鉴别,从而获得最优融合结果;最后,将融合后的V通道与多光谱图像的H,S通道拼接起来获得最终的融合图像.另外,设计了一种复合损失函数进行模型训练.在QuickBird卫星遥感图像数据集上的实验表明,该方法有效提高了融合图像中的空间细节信息和色彩信息,与对比算法相比,其融合图像在主观视觉质量和客观评价指标上都具有一定的优势.     

基于多尺度生成对抗网络的遮挡行人重识别方法

行人重识别是指在多个非重叠摄像头拍摄的场景下,给定一幅查询行人图像,从大规模行人图像库中检索出具有相同身份的行人图像,是一类特殊的图像检索任务.随着深度学习的不断发展,行人重识别方法的性能得到了显著提升.但是行人重识别在实际应用中经常遭遇遮挡问题（例如背景遮挡、行人互相遮挡等）.由于遮挡图像不仅丢失了部分目标信息,而且引入了额外的干扰,使得现有方法往往难以学习到鲁棒的特征表示,从而导致识别性能严重下降.最近,生成对抗网络在各类计算机视觉任务上展现出强大的图像生成能力.受到生成对抗网络的启发,提出了一种基于多尺度生成对抗网络的遮挡行人重识别方法.首先,利用成对的遮挡图像和非遮挡图像训练一个多尺度生成器和一个判别器.多尺度生成器能够对随机遮挡区域进行去遮挡操作,生成高质量的重构图;而判别器能够区分输入图像是真实图像还是生成图像.其次,利用训练好的多尺度生成器,生成去除随机遮挡的训练图像,添加到原始训练图像集,用于增加训练样本的多样性.最后,基于此扩充训练图像集,训练分类识别模型,有效地提高模型在测试图像集上的泛化性.在多个有挑战性的行人重识别数据集上的实验结果,验证了所提出方法的有效性.     

融合多粒度特征的细粒度图像分类网络

在细粒度图像分类任务中，巨大的类内方差决定了该任务的分类依赖于粗粒度和细粒度信息.最近的工作主要关注于如何定位不同粒度的辨别性局部来解决这个问题.然而，在如何选择具有辨别性的粒度以及融合多粒度特征方面，现有的工作还缺乏一定研究.因此，本文提出了一个融合多粒度特征的细粒度图像分类网络，首先通过一个局部错位模块选择细粒度图像中的不同粒度，然后引入注意力机制定位它们并提取其多粒度特征，并且通过迭代学习的方式提取多粒度间的互补信息，最后采用可变形卷积融合这些多粒度特征，从而实现细粒度图像分类.本文所提出的方法在CUB-200-2011、FGVC-Aircraft和Stanford Cars三个数据集上准确率分别达到88.6%、93.6%和94.8%,这表明本文的方法能够获得优秀的分类性能.     

基于GAN先验的图像补全方法

设计和利用良好的图像先验知识是解决图像补全问题的重要方式. 生成对抗网络(GAN)作为一种优秀的生成式模型, 其生成器可以从大型图像数据集中学习到丰富的图像语义信息, 将预训练GAN模型作为图像先验是一种好的选择. 为了利用预训练GAN模型更好地解决图像补全问题, 本文在使用多个隐变量的基础上, 在预训练生成器中间层同时对通道和特征图添加自适应权重, 并在训练过程中微调生成器参数. 最后通过图像重建和图像补全实验, 定性和定量分析相结合, 证实了本文提出的方法可以有效地挖掘预训练模型的先验知识, 进而高质量地完成图像补全任务.     

基于生成对抗网络的多聚焦图像融合

多聚焦图像融合能够融合同一场景下具有不同聚焦部分的一系列图像.为了克服多聚焦图像融合模糊特征提取中存在的不足,提出一种基于U-Net的生成对抗网络模型.首先,生成器采用U-Net和SSE对多聚焦图像的特征进行提取,并完成图像融合;其次,判别器采用卷积层对已知的融合结果和生成器生成的融合图像进行分辨;然后,损失函数采用生成器的对抗损失、映射损失、梯度损失、均方误差损失和判别器对抗损失对生成网络进行参数调节;最后,将生成器、判别器和损失函数组成生成对抗网络模型,并进行实验.Pascal VOC2012数据集作为生成对抗网络的训练集,包括近焦图像、远焦图像、映射图像和融合图像.实验结果证明,该生成对抗网络模型能够有效地提取多聚焦图像中的模糊特征,且融合图像在互信息、相位一致性和感知相似性等方面表现优异.     

基于多模型特征与精简注意力融合的图像分类

为了提高图像分类性能,本文提出一种多模型特征和注意力模块融合的图像分类算法(image classification algorithm based on Multi-model Feature and Reduced Attention fusion,MFRA).通过多模型特征融合,使网络学习输入图像不同层次的特征,增加特征互补性,提高特征提取能力;通过加入注意力模块,使网络更关注有目标的区域,降低无关的背景干扰信息.本文算法在Cifar-10,Cifar-100,Caltech-101这3个公开数据集上的大量实验对比,验证了其有效性.与现有算法对比,本文算法的分类性能有较为明显的提升.     

基于编码器-解码器的半监督图像语义分割

基于深度卷积神经网络的图像语义分割方法需要大量像素级标注的训练数据,但标注的过程费时又费力.本文基于生成对抗网络提出一种编码-解码结构的半监督图像语义分割方法,其中编码器-解码器模块作为生成器,整个网络通过耦合标准多分类交叉熵损失和对抗损失进行训练.为充分利用浅层网络包含的丰富的语义信息,本文将编码器中不同尺度的特征输入到分类器,并将得到的不同粒度的分类结果融合,进而优化目标边界.此外,鉴别器通过发现无标签数据分割结果中的可信区域,以此提供额外的监督信号,来实现半监督学习.在PASCAL VOC 2012和Cityscapes上的实验表明,本文提出的方法优于现有的半监督图像语义分割方法.     

基于注意力机制的弱监督细粒度图像分类

针对细粒度图像分类任务中难以对图中具有鉴别性对象进行有效学习的问题,本文提出了一种基于注意力机制的弱监督细粒度图像分类算法.该算法能有效定位和识别细粒度图像中语义敏感特征.首先在经典卷积神经网络的基础上通过线性融合特征得到对象整体信息的表达,然后通过视觉注意力机制进一步提取特征中具有鉴别性的细节部分,获得更完善的细粒度特征表达.所提算法实现了线性融合和注意力机制的结合,可看作是多网络分支合作训练共同优化的网络模型,从而让网络模型对整体信息和局部信息都有更好的表达能力.在3个公开可用的细粒度识别数据集上进行了验证,实验结果表明,所提方法有效性均优于基线方法,且达到了目前先进的分类水平.     

基于多判别器的多波段图像自监督融合方法

针对多波段图像融合领域利用深度学习方法进行融合时过度依赖标签图像导致融合结果受限的问题,文中提出了一种基于多判别器生成对抗网络的多波段图像自监督融合方法.首先,设计并构建反馈密集网络作为特征增强模块,分别提取多波段图像特征并进行特征增强;其次,将多波段图像特征增强结果合并连接,并通过设计的特征融合模块重构融合图像;最后,将初步融合结果与各波段源图像分别输入判别网络,通过多个判别器的分类任务来不断优化生成器,使生成器在输出最终结果的同时保留多个波段图像的特征,以达到图像融合的目的.实验结果表明,与当前代表性的融合方法相比,所提方法具有更好的清晰度和更多信息量,细节信息更丰富,更符合人眼的视觉特性.     

抗模糊特征提取策略下的车标识别

目的 现有的车标识别方法尽管取得了不错的识别效果,但最终的识别率容易遇到瓶颈,很难得到提升。车标识别是智能交通系统中至关重要的一部分,识别率的微小提升也能带来巨大的社会价值。通过挖掘与分析车标识别中潜在的问题和难点,发现未能得到正确分类的图像大部分为模糊车标图像。针对车标图像中存在的成像模糊等情况,本文提出一种基于抗模糊特征提取的车标识别方法。方法 构建车标图像金字塔模型,分别提取图像的抗纹理模糊特征和抗边缘模糊特征。抗纹理模糊特征的提取使用局部量化的LPQ（local phase quantization）模式,可以增强原始特征的鲁棒性,抗边缘模糊特征的提取基于局部块弱梯度消除的HOG（histogram of oriented gradient）特征提取方法,可以在描述车标图像边缘梯度信息的同时,提升特征的抗模糊能力。最后利用CCA（canonical correlation analysis）方法进行两种抗模糊特征的融合并用于后续的降维与分类。结果 本文方法在多个数据集上均取得了很好的识别效果,在20幅训练样本下,本文方法在公开车标数据集HFUT-VL（vehicle logo dataset from Hefei University of Technology）上取得了99.04%的识别率,在本文构建的模糊车标数据集BVL（blurring vehicle logo dataset）上也取得了97.19%的识别率。而在难度较大的XMU（Xiamen University vehicle logo dataset）上,本文方法在100幅训练样本下也达到了96.87%的识别率,识别效果高于一些具有较好表现的车标识别方法,表现出很强的鲁棒性和抗模糊性。结论 本文方法提高了对成像质量欠缺的车标图像的识别能力,从而提升了整体识别效果,更符合实际应用中车标识别的需求。     

增强边缘梯度特征局部量化策略驱动下的车标识别

目的 车标是车辆的显著性特征,通过车标的分类与识别可以极大缩小车辆型号识别的范围,是车辆品牌和型号识别中的重要环节。基于特征描述子的车标识别算法存在如下缺点：一方面,算法提取的特征数量有限,不能全面描述车标的特征;另一方面,提取的特征过于冗杂,维度高,需要大量的计算时间。为了提取更加丰富的车标特征,提高识别效率,提出一种增强边缘梯度特征局部量化策略驱动下的车标识别方法。方法 首先提取车标图像的增强边缘特征,即根据不同的梯度方向提取梯度信息,生成梯度大小矩阵,并采用LTP（local ternary patterns）算子在梯度大小矩阵上进一步进行特征提取,然后采用特征码本对提取的特征进行量化操作,在确保车标特征描述能力的同时,精简了特征数目,缩短了局部向量的长度,最后采用WPCA（whitened principal component analysis）进行特征降维操作,并基于CRC（collaborative representation based classification）分类器进行车标的识别。结果 基于本文算法提取的车标特征向量,能够很好地描述车标图像的特征,在HFUT-VL1车标数据集上取得了97.85%的识别率（平均每类训练样本为10张）,且在识别难度较大的XMU车标数据集上也能取得90%以上的识别率（平均每类训练样本为100张）,与其他识别算法相比,识别率有明显提高,且具有更强的鲁棒性。结论 增强边缘梯度特征局部量化策略驱动下的车标识别算法提取的特征信息能够有效地描述车标,具有很高的识别率和很强的鲁棒性,大大降低了特征向量的维度,提高了识别效率。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

结合双语义数据增强与目标定位的细粒度图像分类

细粒度图像分类旨在对属于同一基础类别的图像进行更细致的子类划分,其较大的类内差异和较小的类间差异使得提取局部关键特征成为关键所在。提出一种结合双语义数据增强与目标定位的细粒度图像分类算法。为充分提取具有区分度的局部关键特征,在训练阶段基于双线性注意力池化和卷积块注意模块构建注意力学习模块和信息增益模块,分别获取目标局部细节信息和目标重要轮廓这2类不同语义层次的数据,以双语义数据增强的方式提高模型准确率。同时,在测试阶段构建目标定位模块,使模型聚焦于分类目标整体,从而进一步提高分类准确率。实验结果表明,该算法在CUB-200-2011、FGVC Aircraft和Stanford Cars数据集中分别达到89.5%、93.6%和94.7%的分类准确率,较基准网络Inception-V3、双线性注意力池化特征聚合方式以及B-CNN、RA-CNN、MA-CNN等算法具有更好的分类性能。     

融合空间和通道特征的高精度乳腺癌分类方法

组织病理学图像是鉴别乳腺癌的黄金标准,所以对乳腺癌组织病理学图像的自动、精确的分类具有重要的临床应用价值。为了提高乳腺组织病理图像的分类准确率,从而满足临床应用的需求,提出了一种融合空间和通道特征的高精度乳腺癌分类方法。该方法使用颜色归一化来处理病理图像并使用数据增强扩充数据集,基于卷积神经网络（CNN）模型DenseNet和压缩和激励网络（SENet）融合病理图像的空间特征信息和通道特征信息,并根据压缩-激励（SE）模块的插入位置和数量,设计了三种不同的BCSCNet模型,分别为BCSCNetⅠ、BCSCNetⅡ、BCSCNetⅢ。在乳腺癌癌组织病理图像数据集（BreaKHis）上展开实验。通过实验对比,先是验证了对图像进行颜色归一化和数据增强能提高乳腺的分类准确率,然后发现所设计的三种乳腺癌分类模型中精度最高为BCSCNetⅢ。实验结果表明,BCSCNetⅢ的二分类准确率在99.05%~99.89%,比乳腺癌组织病理学图像分类网络（BHCNet）提升了0.42个百分点;其多分类的准确率在93.06%~95.72%,比BHCNet提升了2.41个百分点。证明了BCSCNet能准确地对乳腺癌组织病理图像进行分类,同时也为计算机辅助乳腺癌诊断提供了可靠的理论支撑。     

基于渲染图像角度结构特征的三维模型检索方法

为了充分利用三维模型的颜色、形状、纹理等特征,提出以三维模型渲染图像为数据集,利用渲染图像角度结构特征实现三维模型检索。首先,该方法以三维模型渲染图像为测试集,利用已有类别标记的自然图像作为训练集,通过骨架形状上下文特征对渲染图像进行分类,提取角度结构特征,建立特征库;然后,对输入的自然图像提取角度结构特征,与特征库中的角度结构特征进行相似度匹配计算,实现三维模型检索。实验结果表明, 充分利用 渲染图像的颜色、形状和空间信息是实现三维模型检索的有效方法。     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

文本检测与识别在细粒度图片分类中的应用

细粒度的图片分类是深度学习图片分类领域中的一个重要分支,其分类任务比一般的图片分类要困难,因为很多不同分类图片中的特征相似度极高,没有特别鲜明的特征用以区分,因而需要优化一个传统的图片分类方法.在一般的图片分类中,通常通过提取视觉以及像素级别的特征用来训练,然而直接应用到细粒度分类上并不太适配,效果仍有待提高,可考虑利用非像素级别的特征来加以区分.因此,我们提出联合文本信息和视觉信息作用于图片分类中,充分利用图片上的特征,将文本检测与识别算法和通用的图片分类方法结合,应用于细粒度图片分类中,在Con-text数据集上的实验结果表明我们提出的算法得到的准确率有显著的提升.     

双核压缩激活神经网络艺术图像分类

目的 为了充分提取版画、中国画、油画、水彩画和水粉画等艺术图像的整体风格和局部细节特征,实现计算机自动分类检索艺术图像的需求,提出通过双核压缩激活模块（double kernel squeeze-and-excitation,DKSE）和深度可分离卷积搭建卷积神经网络对艺术图像进行分类。方法 根据SKNet（selective kernel networks）自适应调节感受野提取图像整体与细节特征的结构特点和SENet（squeeze-and-excitation networks）增强通道特征的特点构建DKSE模块,利用DKSE模块分支上的卷积核提取输入图像的整体特征与局部细节特征;将分支上的特征图进行特征融合,并对融合后的特征图进行特征压缩和激活处理;将处理后的特征加权映射到不同分支的特征图上并进行特征融合;通过DKSE模块与深度可分离卷积搭建卷积神经网络对艺术图像进行分类。结果 使用本文网络模型对有无数据增强（5类艺术图像数据增强后共25 634幅）处理的数据分类,数据增强后的分类准确率比未增强处理的准确率高9.21%。将本文方法与其他网络模型和传统分类方法相比,本文方法的分类准确率达到86.55%,比传统分类方法高26.35%。当DKSE模块分支上的卷积核为1×1和5×5,且放在本文网络模型第3个深度可分离卷积后,分类准确率达到87.58%。结论 DKSE模块可以有效提高模型分类性能,充分提取艺术图像的整体与局部细节特征,比传统网络模型具有更好的分类准确率。     

适合跨域目标检测的雾霾图像增强

目的 室外监控在雾霾天气所采集图像的成像清晰度和目标显著程度均会降低,当在雾霾图像提取与人眼视觉质量相关的自然场景统计特征和与目标检测精度相关的目标类别语义特征时,这些特征与从清晰图像提取的特征存在明显差别。为了提升图像质量并且在缺乏雾霾天气目标检测标注数据的情况下提升跨域目标检测效果,本文综合利用传统方法和深度学习方法,提出了一种无监督先验混合图像特征级增强网络。方法 利用本文提出的传统先验构成雾气先验模块;其后连接一个特征级增强网络模块,将去散射图像视为输入图像,利用像素域和特征域的损失实现场景统计特征和目标类别语义相关表观特征的增强。该混合网络突破了传统像素级增强方法难以表征抽象特征的制约,同时克服了对抗迁移网络难以准确衡量无重合图像域在特征空间分布差异的弱点,也减弱了识别算法对于低能见度天候采集图像标注数据的依赖,可以同时提高雾霾图像整体视觉感知质量以及局部目标可识别表现。结果 实验在两个真实雾霾图像数据集、真实图像任务驱动的测试数据集(real-world task-driven testing set, RTTS)和自动驾驶雾天数据集(foggy driving dense)上与最新的5种散射去除方法进行了比较,相比于各指标中性能第2的算法,本文方法结果中梯度比指标R值平均提高了50.83%,属于感知质量指标的集成自然图像质量评价指标(integrated local natural image quality evaluator, IL-NIQE)值平均提高了6.33%,属于跨域目标检测指标的平均精准率(mean average precision, MAP)值平均提高了6.40%,平均查全率Recall值平均提高了7.79%。实验结果表明,本文方法结果在视觉质量和目标可识别层面都优于对比方法,并且本文方法对于高清视频的处理速度达50帧/s,且无需标注数据,因而在监控系统具有更高的实用价值。结论 本文方法可以同时满足雾霾天候下对采集视频进行人眼观看和使用识别算法进行跨域目标检测的需求,具有较强的应用意义。