嵌入注意力机制模型的人脸表情迁移学习方法

人脸表情识别中,利用深度网络进行训练时,往往需要大量的训练数据而且实际应用中常常缺少标签数据,域适应人脸表情迁移学习是一个重要的研究课题。现有基于域适应的人脸表情识别大多采用浅层网络、深度学习网络方法,因此提出了将条件对抗域适应方法应用于人脸表情迁移学习,以及应用熵函数保证分类器预测的不确定人脸表情图像的可迁移性,并通过嵌入注意力机制模型来改进深度学习网络对人脸表情图像的特征提取。实验表明,通过注意力机制模型改进的条件生成对抗网络能有效地提高实验室控制和现实生活中的人脸表情数据识别的准确率。     

基于尺度自适应与增量式学习的人脸对齐方法

针对传统基于回归的人脸对齐算法在人脸尺度归一化时会造成纹理的损失,以及为了提升算法模型的泛化能力必须扩充数据集重新训练而导致训练时间增加,甚至出现不收敛、不可计算等问题,提出一种基于尺度自适应与增量式学习（IL）的人脸对齐方法来提高定位精度。首先,建立初始人脸形状与标准人脸形状的映射关系;然后,通过映射关系实现纹理特征在原图上的提取和人脸尺度的归一化;最后,利用算法模型在新的数据集上进行增量式的学习,快速提高原模型的泛化能力。实验结果表明,与传统回归方法相比,所提方法有更高的对齐精度,特别是在AFW数据集（68个特征点）上提高了2~4个百分点;在10万级别的大数据集（5个特征点）上,所提方法的鲁棒性比基于深度学习的方法高1~2个百分点。同时,所提的增量式学习方法不仅适用于人脸对齐场景下的回归模型求解,还适用于其他应用场景下回归模型的求解。     

一种雨雾背景的DeRF-YOLOv3-X目标检测方法

提出了一种新型的目标检测方法DeRF-YOLOv3-X(Derain and Defog-YOLOv3-Xception),将Xception引入YOLOv3网络以提高雨雾天气条件下行人和车辆的目标检测准确性。对于雨雾背景,分别采用残差网络和负映射结合的深度细节网络DDN和基于注意力机制的多尺度网络GridDehazeNet进行去雨去雾处理;采用Xception替换YOLOv3中Darknet-53网络,同时将回归损失函数由IoU改进为DIoU,提高特征提取能力以及框定位准确率。在公开数据集ImageNet上进行主干网络的测试;在实际场景数据集上进行YOLOv3-X网络和DeRF-YOLOv3-X网络的测试。实验结果表明,提出的DeRF-YOLOv3-X目标检测网络在雨天背景下mAP值提高了5.92%,达到54.99%;在雾天背景下,mAP值也提高了4.22%,达到49.07%。     

非受限条件下的深度人脸年龄分类

针对非受限条件下人脸图像年龄分类准确度较低的问题,提出了一种基于深度残差网络（ResNets）和大数据集微调的非受限条件下人脸年龄分类方法。首先,选用深度残差网络作为基础卷积神经网络模型处理人脸年龄分类问题;其次,在ImageNet数据集上对深度残差网络预训练,学习基本图像特征的表达;然后,对大规模人脸年龄图像数据集IMDB-WIKI清洗,并建立了IMDB-WIKI-8数据集用于微调深度残差网络,实现一般物体图像到人脸年龄图像的迁移学习,使模型适应于年龄段的分布并提高网络学习能力;最后,在非受限人脸数据集Adience上对微调后的网络模型进行训练和测试,并采用交叉验证方法获取年龄分类准确度。通过34/50/101/152层残差网络对比可知,随着网络层数越深年龄分类准确度越高,并利用152层残差网络获得了Adience数据集上人脸图像年龄分类的最高准确度65.01%。实验结果表明,结合更深层残差网络和大数据集微调,能有效提高人脸图像年龄分类准确度。     

一种基于自注意力机制的自动人脸替换方法

针对DeepFakes人脸替换方法生成人脸图像分辨率低、质量差等问题,提出一种基于自注意力机制的生成对抗网络的自动人脸替换方法,生成对抗网络主体采用类似U型自编码对称结构减少特征信息的损失,引进自注意力机制能够更好地学习图像的纹理特征,提高生成图像的重建质量,应用卡尔曼滤波器平滑处理每一帧上的边界框位置,降低人脸抖动。在FaceForensics++数据集上与DeepFakes替换方法进行对比实验,定性和定量的实验结果证明了该方法能够较好地提升生成图像质量,减少脸部抖动。     

基于深度残差网络和注意力机制的人脸检测算法

人脸检测技术作为一种人员身份识别的主流技术被广泛应用于人们的日常生活中。然而在特定应用场景中,当人脸被遮挡或人脸目标非常密集时,人脸识别的检测性能急剧下降。提出一种基于深度残差网络和注意力机制的高精度人脸检测算法。使用残差网络ResNet-50并结合IoU损失函数提高人脸检测精度,并利用注意力机制优化突出脸部区域特征,在此基础上采用非极大值抑制方法增强算法鲁棒性。在公开FDDB数据集上的实验结果表明,该算法的准确率达到96.1%相比传统卷积网络VGG-16算法提高1.6个百分点。     

基于自发表情数据集预训练的多任务深度网络表情识别方法

为了更好地将现有深度卷积神经网络应用于表情识别,提出将构建自然表情图像集预训练和多任务深度学习相结合的方法。首先,利用社交网络图像构建一个自发面部表情数据集,对现有深度卷积神经网络进行预训练;然后,以双层树分类器替换输出层的平面softmax分类器,构建深度多任务人脸表情识别模型。实验结果表明,本文提出的方法有效提高了人脸表情识别准确率。     

基于自注意力胶囊网络的伪造人脸检测方法

当前以换脸为代表的伪造视频泛滥,给国家、社会和个人带来潜在威胁,有效检测该类视频对保护个人隐私和维护国家安全具有重要意义。为提高视频伪造人脸检测效果,基于可解释性好的胶囊网络,以Capsule-Forensics检测算法为基础,提出一种结合自注意力胶囊网络的伪造人脸检测方法。使用部分Xception网络作为特征提取部分,降低模型的参数量,在主体部分引入带注意力机制的胶囊结构,使模型聚焦人脸区域,将综合多维度的Focal Loss作为损失函数,提高模型对难分样例的检测效果。实验结果表明,与Capsule-Forensics算法相比,该方法能够减少模型参数量和计算量,在多种伪造类型数据集上均具有较高的准确率。     

基于余弦距离损失与卷积神经网络的人脸识别

由于最近卷积神经网络在计算机视觉任务中的发展,深度人脸识别方法的性能得到了显著提高。现有的深度人脸模型将人脸识别任务视为一个分类任务或度量学习任务,旨在学习到具有区分度的人脸特征,但是很少能达到类内距离小、类间距离大的特点。损失函数作为监督信号,在卷积神经网络学习人脸特征时起到重要的作用。提出基于余弦距离的Softmax损失函数(Cosine Softmax Loss,CSL),让人脸特征区分度更高。使用相同的网络模型和训练数据集,在LFW和YTF等数据集上的实验结果验证了所提方法的优越性。     

结合自监督学习和生成对抗网络的小样本人脸属性识别

目的 人脸属性识别是计算机视觉和情感感知等领域一个重要的研究课题。随着深度学习的不断发展,人脸属性识别取得了巨大的进步。目前基于深度学习的人脸属性识别方法大多依赖于包含完整属性标签信息的大规模数据集。然而,对于小样本数据集的属性标签缺失问题,人脸属性识别方法的准确率依然较低。针对上述问题,本文提出了一种结合自监督学习和生成对抗网络的方法来提高在小样本数据集上的人脸属性识别准确率。方法 使用基于旋转的自监督学习技术进行预训练得到初始的属性识别网络;使用基于注意力机制的生成对抗网络得到人脸属性合成模型,对人脸图像进行属性编辑从而扩充训练数据集;使用扩充后的训练数据集对属性识别网络进行训练得到最终模型。结果 本文在小样本数据集UMD-AED（University of Maryland attribute evaluation dataset）上进行了实验并与传统的有监督学习方法进行了比较。传统的有监督学习方法达到了63.24%的平均准确率,而所提方法达到了69.01%的平均准确率,提高了5.77%。同时,本文在CelebA（CelebFaces attributes dataset）、LFWA（labeled faces in the wild attributes dataset）和UMD-AED数据集上进行了使用自监督学习和未使用自监督学习的对比实验,验证了自监督学习在小样本数据集上的有效性。结论 本文所提出的结合自监督学习和生成对抗网络的人脸属性识别方法有效提高了小样本数据集上属性识别的准确率。     

基于高阶残差和注意力机制的轻量型作物害虫识别

精准识别作物害虫对作物进行适时地防护和治理具有重要意义. 在面向自然环境时, 由于作物害虫体积小、与环境颜色的差异性不大, 同时又面临着各种噪声和复杂背景等因素的影响, 目前与深度学习相关的作物害虫识别模型存在难以兼顾识别准确率和鲁棒性的要求, 难以部署在计算资源有限和低性能的移动端等缺陷. 因此选取ShuffleNetV2网络结构中模型参数最少的ShuffleNetV2 0.5×为基准网络, 设计了一个基于高阶残差和注意力机制的轻量型作物害虫识别模型(HOR-Shuffle-CANet). 其中, 前期的高阶残差可以为后面的网络层提供丰富的害虫特征, 有效提高模型的识别准确率; 坐标注意力(coordinate attention, CA)机制能够进一步抑制背景噪声和对作物害虫重点信息的关注, 有效增强模型的鲁棒性; 带标签平滑正则化(label smoothing regularization, LSR)的双稳态逻辑损失函数可以解决训练含噪数据集时逻辑损失函数的两个缺点, 使得模型对噪声的适应能力更强. 试验结果表明, HOR-Shuffle-CANet模型在自然场景中10类常见作物害虫图像的测试数据集上达到了91.22%的识别准确率, 较基准网络提升了3.54个百分点. 在保持轻量化计算的基础上, 其识别准确率也高于现有的经典卷积神经网络AlexNet、VGG-16、GoogLeNet、Xception、ResNet-34和轻量级网络模型MobileNetV3-Small、EfficientNet-B0等. 该模型具有识别准确率高、鲁棒性强和抗干扰性能好等特点, 能够很好地适应作物害虫识别的实际应用需求.     

基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

基于深度学习的遥感图像目标检测与识别

为解决目前的遥感图像目标检测算法存在的对小尺度目标检测精度低和检测速度慢等问题,提出了一种基于深度学习的遥感图像目标检测与识别算法。首先,构建一个含有不同尺度大小的遥感图像的数据集用于模型的训练和测试;其次,基于原始的多尺度单发射击（SSD）网络模型,融入了设计的浅层特征融合模块、浅层特征增强模块和深层特征增强模块;最后,在训练策略上引入聚焦分类损失函数,以解决训练过程中正负样本失衡的问题。在高分辨率遥感图像数据集上进行实验,结果表明所提算法的检测平均精度均值（mAP）达到77.95%,相较于SSD网络模型提高了3.99个百分点,同时检测速度为33.8 frame/s。此外,在拓展实验中,改进算法对高分辨率遥感图像中模糊目标的检测效果也优于原多尺度单发射击网络模型。实验结果说明,所提改进算法能够有效地提高遥感图像目标检测的精度。     

基于深度学习的遥感图像目标检测与识别

为解决目前的遥感图像目标检测算法存在的对小尺度目标检测精度低和检测速度慢等问题，提出了一种基于深度学习的遥感图像目标检测与识别算法。首先，构建一个含有不同尺度大小的遥感图像的数据集用于模型的训练和测试；其次，基于原始的多尺度单发射击（SSD）网络模型，融入了设计的浅层特征融合模块、浅层特征增强模块和深层特征增强模块；最后，在训练策略上引入聚焦分类损失函数，以解决训练过程中正负样本失衡的问题。在高分辨率遥感图像数据集上进行实验，结果表明所提算法的检测平均精度均值（mAP）达到77.95%，相较于SSD网络模型提高了3.99个百分点，同时检测速度为33.8 frame/s。此外，在拓展实验中，改进算法对高分辨率遥感图像中模糊目标的检测效果也优于原多尺度单发射击网络模型。实验结果说明，所提改进算法能够有效地提高遥感图像目标检测的精度。     

注意力机制改进轻量SSD模型的海面小目标检测

目的 海面目标检测图像中的小目标数量居多,而基于深度学习的目标检测方法通常针对通用目标数据集设计检测模型,对图像中的小目标检测效果并不理想。使用一般目标检测模型检测海面目标图像的特征时,通常会出现小目标漏检情况,而一些特定的小目标检测模型对海面目标的检测效果还有待验证。为此,在标准的SSD(single shot multiBox detector)目标检测模型基础上,结合Xception深度可分卷积,提出一种轻量SSD模型用于海面目标检测。方法 在标准的SSD目标检测模型基础上,使用基于Xception网络的深度可分卷积特征提取网络替换VGG-16(Visual Geometry Group network-16)骨干网络,通过控制变量来对比不同网络的检测效果;在特征提取网络中的exit flow层和Conv1层引入轻量级注意力机制模块来提高检测精度,并与在其他层引入轻量级注意力机制模块的模型进行检测效果对比;使用注意力机制改进的轻量SSD目标检测模型和其他几种模型分别对海面目标检测数据集中的小目标和正常目标进行测试。结果 为证明本文模型的有效性,进行了多组对比实验。实验结果表明,模型轻量化导致特征表达能力降低,从而影响检测精度。相对于标准的SSD目标检测模型,本文模型在参数量降低16.26%、浮点运算量降低15.65%的情况下,浮标的平均检测精度提高了1.1%,漏检率减小了3%,平均精度均值(mean average precision,mAP)提高了0.51%,同时,保证了船的平均检测精度,并保证其漏检率不升高,在对数据集中的小目标进行测试时,本文模型也表现出较好的检测效果。结论 本文提出的海面小目标检测模型,能够在压缩模型的同时,保证模型的检测速度和检测精度,达到网络轻量化的效果,并且降低了小目标的漏检率,可以有效实现对海面小目标的检测。     

视觉深度伪造检测技术综述

随着生成式深度学习算法的发展,深度伪造技术发展并应用于各个领域。深度伪造技术的滥用使人们逐渐意识到其带来的威胁,伪造检测技术随之而生。本文基于视觉深度伪造技术研究进行综述。1)简要介绍了视觉深度伪造技术的发展历程及技术原理,包括生成对抗网络在深度伪造制品中的应用;2)对现有的视觉深度伪造数据集进行汇总并归类;3)对目前的视觉深度伪造检测技术进行了分类,将现有的检测方法归纳为基于具体伪影的、基于数据驱动的、基于信息不一致和其他类型视觉深度伪造检测等4种分类。其中,基于伪影的检测方法着重于寻找伪造制品与真实图像之间的像素级差异,通过机器学习识别深度伪造制品中的人工伪影痕迹,基于信息不一致的方法则着重于寻找伪造制品与真实图像或视频之间的信息级差异,这两种方法都具有识别效率高、训练便捷等优点;基于数据驱动的方法通过大量的数据集和机器学习训练,直接使用神经网络本身对深度伪造制品进行训练,并通过改善网络架构增进模型以提高训练效率,因为其模型的多变和高精确率成为目前深度伪造检测的热门方向。同时,本文分析了4种方法的具体优缺点,并进一步给出了未来视觉深度伪造检测研究的重点和难点。     

基于双模型的输电线绝缘子自爆检测算法

针对输电线路无人机巡检图像中绝缘子自爆缺陷目标小而难以精准检测的问题,提出一种基于Faster R-CNN和改进的YOLO v3级联双模型的绝缘子自爆缺陷检测算法。首先,利用无人机巡检图像构建绝缘子串缺陷数据集,并对训练图像样本进行翻转预处理,增加样本数量,提高模型泛化能力,避免过拟合;然后,利用Faster R-CNN检测图像中的绝缘子串,再将检测到的绝缘子串图像送入改进的YOLO v3网络进行自爆缺陷的定位。改进的YOLO v3网络是在YOLO v3基础上借鉴FPN的思想,增加特征提取层并进行特征融合,充分利用深层特征和浅层特征;同时采用CIoU Loss函数作为损失函数,以解决边界框宽高比尺度信息。实验结果表明,本文算法在所构建的绝缘子缺陷数据集上的检测准确率达到91.2%,相比Faster R-CNN或YOLO v3等单模型检测算法提升了3.31个百分点以上,能有效实现无人机巡检中绝缘子自爆缺陷的检测,为输电线路智能化巡检故障诊断提供方法支持。     

基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络（CNN）平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。     

基于频谱空间域特征注意的音乐流派分类算法

为了提升深度卷积神经网络对音乐频谱流派特征的提取效果,提出一种基于频谱空间域特征注意的音乐流派分类算法模型DCNN-SSA。DCNN-SSA模型通过对不同音乐梅尔谱图的流派特征在空间域上进行有效标注,并且改变网络结构,从而在提升特征提取效果的同时确保模型的有效性,进而提升音乐流派分类的准确率。首先,将原始音频信号进行梅尔滤波,以模拟人耳的滤波操作对音乐的音强及节奏变化进行有效过滤,所生成的梅尔谱图进行切割后输入网络;然后,通过深化网络层数、改变卷积结构及增加空间注意力机制对模型在流派特征提取上进行增强;最后,通过在数据集上进行多批次的训练与验证来有效提取并学习音乐流派特征,从而得到可以对音乐流派进行有效分类的模型。在GTZAN数据集上的实验结果表明,基于空间注意的音乐流派分类算法与其他深度学习模型相比,在音乐流派分类准确率和模型收敛效果上有所提高,准确率提升了5.36个百分点～10.44个百分点。     

基于ShuffleNet V2算法的三维视线估计

为了解决当前视线估计网络复杂度较深、精度不高的问题,同时为了未来将网络部署在移动设备端,提出了一种基于ShuffleNet V2算法的视线估计网络,其由脸部和眼睛两个子网络构成。脸部子网络通过ResNetV2网络对脸部图片进行特征处理,并加入人脸对齐算法,减少头部角度误差的影响。眼睛子网络通过ShuffleNet V2...