基于多尺度生成对抗网络的遮挡行人重识别方法

行人重识别是指在多个非重叠摄像头拍摄的场景下,给定一幅查询行人图像,从大规模行人图像库中检索出具有相同身份的行人图像,是一类特殊的图像检索任务.随着深度学习的不断发展,行人重识别方法的性能得到了显著提升.但是行人重识别在实际应用中经常遭遇遮挡问题（例如背景遮挡、行人互相遮挡等）.由于遮挡图像不仅丢失了部分目标信息,而且引入了额外的干扰,使得现有方法往往难以学习到鲁棒的特征表示,从而导致识别性能严重下降.最近,生成对抗网络在各类计算机视觉任务上展现出强大的图像生成能力.受到生成对抗网络的启发,提出了一种基于多尺度生成对抗网络的遮挡行人重识别方法.首先,利用成对的遮挡图像和非遮挡图像训练一个多尺度生成器和一个判别器.多尺度生成器能够对随机遮挡区域进行去遮挡操作,生成高质量的重构图;而判别器能够区分输入图像是真实图像还是生成图像.其次,利用训练好的多尺度生成器,生成去除随机遮挡的训练图像,添加到原始训练图像集,用于增加训练样本的多样性.最后,基于此扩充训练图像集,训练分类识别模型,有效地提高模型在测试图像集上的泛化性.在多个有挑战性的行人重识别数据集上的实验结果,验证了所提出方法的有效性.     

基于时空渐进特征模型的抗遮挡多目标跟踪

针对多目标跟踪过程中存在目标相互遮挡的问题,提出一种基于时空渐进特征模型的抗遮挡多目标跟踪方法.该方法根据目标的关联状态、重叠情况、深度顺序构建遮挡推理模型,在线识别被遮挡目标, 并对其进行基于时空渐进特征模型的目标再检测.首先,利用目标特征模型中的空间位置参数确定搜索区域;然后,计算目标模型与检测响应之间的表观特征相似度,引入一种自适应阈值,并选择相近程度较高的检测响应为候选量测;最后,采用时间特征匹配的方式获得目标真实检测响应,完成多目标跟踪的任务.通过MOT15和MOT17数据集中的实验结果表明,所提出方法能够有效地识别被遮挡目标,可在多种复杂场景下实现相互遮挡目标的鲁棒性跟踪,相对于现有方法具有较高的准确性、精度和轨迹完整性.     

改进YOLOv4-tiny网络的狭小空间目标检测方法

针对狭小空间中目标相互遮挡导致轻型检测网络存在大量漏检、分类错误等问题,基于YOLOv4-tiny提出一种自适应非极大抑制（adaptive non-maximum suppression,A-NMS）的多尺度检测方法。在骨干网络引入大尺度特征图优化策略和金字塔池化模型,增强遮挡目标显著区域特征;设计内嵌空间注意力的双路金字塔特征融合网络,提升浅层细节特征与高级语义信息的融合能力;提出区域目标密度与边界框中心距离因子相关联的动态NMS阈值设定方法,并在后处理阶段代替传统IoU-NMS算法,进一步减少漏检。实验结果表明,与YOLOv4-tiny算法相比,改进算法在公开数据集PASCAL VOC07+12和自制数据集上mAP值分别提高2.84个百分点和3.06个百分点,FPS保持在87.9,对遮挡目标的检测能力显著提升,满足移动端对狭小复杂场景实时检测的需求。     

基于数据增强的水下电缆视觉检测方法

深度学习在视觉检测中所具备的优势极其依赖大量的数据,但是由于条件限制,在很多检测任务中缺乏足够的数据标本.针对水下电缆数据少且获取困难的问题,提出了一种基于数据增强的水下电缆视觉识别方法.首先,用现有的水下电缆图像建立数据集;然后,构建生成对抗网络的生成器和鉴别器;其次,通过现有数据集进行生成对抗网络训练,输出无限接近...     

基于两阶段深度网络的输电线路异常目标检测方法

输电线路的异常目标检测对提高输电系统的安全性、可靠性、稳定性起到十分重要的作用,而已有目标检测并未针对线路异常目标的尺度变化大、小目标多、光线暗、部分遮挡等问题进行有效设计,导致识别速度慢、易受环境干扰、误报漏报频发等.针对上述问题,采用两阶段深度网络,利用特征金字塔网络(FPN)提取多尺度特征,使主干网更好地适应目标多尺度变化,并通过全局网络进行特征增强,获得更清晰、更具有代表性的多尺度目标特征.在区域选择网络(RPN)中提出特征指导的候选框生成网络,能够生成稀疏且形状任意的锚,产生更紧密的掩模包围框.在检测阶段,采用多任务损失函数提升网络的预测精度和泛化能力,提高异常目标的检测性能.在MS COCO数据集上进行消融实验和性能对比,验证所提出方法的有效性和先进性,在输电线路数据集上异常目标检测精度达到77%,优于主流深度学习的目标检测方法.     

基于分段损失的生成对抗网络

生成对抗网络(GAN)在训练过程中未能有效进行生成器与鉴别器间的同步更新,导致模型训练不稳定并出现模式崩溃的现象。为此,提出一种基于分段损失的生成对抗网络PL-GAN。生成器在不同的训练时期采用不同形式的损失函数,同时引入真实样本与生成样本之间的特征级损失,从而使鉴别器提取的特征更具有鲁棒性。MNIST和CIFAR-10数据集上的实验结果表明,与regular GAN、feature-wise GAN相比,PL-GAN具有更高的分类精度与运行效率。     

基于生成对抗网络的遮挡表情识别

针对实际应用中局部遮挡会影响人脸表情识别,提出一种基于生成对抗网络（GAN）的表情识别算法。先对遮挡人脸图像填补修复,再进行表情识别。其中GAN的生成器由卷积自动编码机构成,与鉴别器的对抗学习使得生成的人脸图像更加逼真;由卷积神经网络构成的鉴别器具有良好的特征提取能力,添加多分类层构成了表情分类器,避免了重新计算图像特征。为了解决训练样本不足的问题,将CelebA人脸数据集用于训练人脸填补修复,同时表情分类器的特征提取部分得到了预训练。在CK+数据集上的实验证明,填补后的人脸图像真实连贯,并取得了较高的表情识别率,尤其提高了人脸大面积遮挡的识别率。     

基于多层上下文卷积神经网络的目标检测算法

目标检测提取的特征信息不足,导致识别小目标或被遮挡目标时精确度不高.因此,文中提出多层上下文卷积网络(MLC-CNN),通过提取多层上下文信息特征并结合物体特征进行目标检测.MLC-CNN由区域生成网络(RPN)和多层上下文信息(MLC)两个子网络组成,RPN获取固定长度的特征向量作为目标特征,MLC获取不同层特征图上对应的上下文信息特征,最后融合两部分特征.此外,为了解决数据不均衡问题,融入难负样本训练.在PASCAL VOC2007和PASCAL VOC2012数据集上的实验表明,MLC-CNN的均值平均精度(mAP)具有明显提高.     

遮挡对于目标检测的影响分析

摘 要：当前目标检测任务中遮挡问题是一项具有挑战性的工作,由于存在遮挡导致物体 的整体特征结构遭到破坏,在检测过程中容易发生漏检、误检等问题。常见遮挡处理方法在很 大程度上提高了遮挡检测效果,然而对遮挡构成因素和不同遮挡比例对于检测性能的影响情况, 目前并没有具体量化分析。对此,从数据驱动方法出发,通过仿真方式构建生成大量均匀分布 的遮挡数据集(MOCOD),在此数据集上分析不同遮挡比例下的检测性能,量化分析了不同遮挡 对于检测性能的影响情况,在分析的基础上,通过按遮挡比例引入衰减权重方式来筛选高质量 的正样本参与模型训练,有效提升了遮挡情况下的检测性能。     

基于Transformer的跨尺度交互学习伪装目标检测

伪装目标检测(COD)旨在精确且高效地检测出与背景高度相似的伪装物体, 其方法可为物种保护、医学病患检测和军事监测等领域提供助力, 具有较高的实用价值. 近年来, 采用深度学习方法进行伪装目标检测成为一个比较新兴的研究方向. 但现有大多数COD算法都是以卷积神经网络(CNN)作为特征提取网络, 并且在结合多层次特征时, 忽略了特征表示和融合方法对检测性能的影响. 针对基于卷积神经网络的伪装目标检测模型对被检测目标的全局特征提取能力较弱问题, 提出一种基于Transformer的跨尺度交互学习伪装目标检测方法. 该模型首先提出了双分支特征融合模块, 将经过迭代注意力的特征进行融合, 更好地融合高低层特征; 其次引入了多尺度全局上下文信息模块, 充分联系上下文信息增强特征; 最后提出了多通道池化模块, 能够聚焦被检测物体的局部信息, 提高伪装目标检测准确率. 在CHAMELEON、CAMO以及COD10K数据集上的实验结果表明, 与当前主流的伪装物体检测算法相比较, 该方法生成的预测图更加清晰, 伪装目标检测模型能取得更高精度.     

基于课程学习思想的目标检测增强算法

目标检测算法性能优劣既依赖于数据集样本分布,又依赖于特征提取网络设计.从这2点出发,首先通过分析COCO 2017数据集各尺度目标属性分布,探索了数据集固有的导致小目标检测准确率偏低的潜在因素,据此提出CP模块,该模块以离线方式调整数据集小目标分布,一方面对包含小目标图片进行上采样,另一方面对图片内小目标进行复制粘贴.然后,针对网络特征提取能力问题,受课程学习(CL)思想启发,提出CL层,该层用目标标签引导网络学习,用CL因子控制学习强度,使样本特征增强,便于网络进行特征提取.在COCO 2017数据集上使用CP模块,并在CenterNet中嵌入CL层,进行多组对比实验,采用平均检测准确率、小目标检测准确率、中目标检测准确率和大目标检测准确率作为评价指标,实验结果证明了CP模块和CL层的有效性.     

基于掩膜生成网络的遮挡人脸检测方法

针对复杂遮挡条件下人脸检测精度低的问题,提出一种基于掩膜生成网络（MGN）的遮挡人脸检测方法。对人脸训练集进行预处理,将训练人脸划分为25个子区域,并为每个子区域分别添加遮挡。将一系列添加遮挡的人脸图像和原始人脸图像作为图像对依次输入MGN进行训练,以生成对应各个遮挡子区域的遮挡掩膜字典。通过组合相关字典项生成与检测人脸遮挡区域相对应的组合特征掩膜,并将该组合特征掩膜与检测人脸深层特征图相点乘,以屏蔽由局部遮挡引起的人脸特征元素损坏。在AR和MAFA数据集上进行实验,结果表明,该方法的检测精度高于MaskNet、RPSM等方法,且检测速度较快。     

基于生成对抗网络的遮挡人脸图像修复的改进与实现

针对目前的遮挡人脸图像修复领域中遮挡部位与遮挡大小的限制或修复后人脸图像不够连贯等问题,提出一种改进的Wasserstein生成对抗网络(WGAN)方法来改善人脸图像的修复。将卷积神经网络作为生成器模型,并在对应层间加入跳跃连接来增强生成图像的准确性。在判别器中引入Wasserstein距离进行判别,并引入梯度惩罚来完善判别器。在CelebA人脸数据集与LFW人脸数据集上进行实验,结果表明该方法的修复效果良好。     

融合对抗学习策略的实例级物体检测算法

针对目前基于深度学习的实例级物体检测算法对受遮挡物体的检测效果较差的问题,文中引入对抗学习的训练策略,提出改进的对抗生成式区域全卷积网络算法(AGR-FCN).以区域全卷积网络(R-FCN)为基准框架,添加为训练样本生成遮挡特征的对抗性遮挡丢弃网络(AMDN).通过R-FCN与AMDN间对抗学习的训练策略,提升R-FCN对遮挡物体的特征学习能力,优化整体实例级物体检测性能.在公共数据库GMU Kitchen和自制数据库BHGI上的实验表明,在复杂多变的非结构化环境中,如随机变化的不同光照、尺度、焦比、视角与姿态、遮挡等条件下,AGR-FCN的平均检测精度较高.     

基于改进生成对抗网络的动漫人物头像生成算法

针对已有的动漫人物头像生成方法中生成结果的多样性较差,且难以准确地按照用户想法按类生成或按局部细节生成的问题,基于含辅助分类器的对抗生成网络(ACGAN),结合互信息理论、多尺度判别等提出了一种改进模型LMV-ACGAN(Latent label attached Multi scale ACGAN with improved VGG mode),用于动漫人物头像的生成。文中设计的模型主要包括特征整合的反卷积生成器,多尺度特征提取器以及真假、类别、隐参数,还原3个全连接神经网络。对于网络结构,所提模型除了类别标签外,额外引入了一组连续值的隐参数,用来增强对模型的约束,同时将卷积神经网络部分的VGG模型中的池化层替换为跨步卷积,并且判别器引入了图像的多尺度信息进行特征融合且改进了网络末端结构以及各部分的参数更新方式,以尽可能减弱末端的分类部分、真假判别部分和隐参数还原部分之间的相互影响。实验结果表明,所提模型有效地解决了模式崩塌的问题,同时较ACGAN提高了模型生成指定类型图像的成功率和准确度,对于ACGAN等生成失败或者类型判别错误的图像,可以做到正确生成,且能够通过调整连续的隐参数有效地实现一些简单的图像编辑功能,如人脸的朝向等。     

一种基于pix2pix改进的工业缺陷数据增强方法

基于深度学习的目标检测算法在工业检测中应用广泛,为解决工业缺陷数据不足的问题,提出了一种基于pix2pix改进的缺陷数据增强方法。从加强生成器和判别器对图像中缺陷区域的注意力出发,针对pix2pix进行了如下改进：（1）仅将整幅图像的缺陷区域作为判别器的输入,以此提升生成器对缺陷区域的注意力,同时,判别器采用了更小的卷积核提取缺陷区域的特征;（2）仅将图像中所有缺陷区域的平均生成对抗损失作为该图像的生成对抗损失,使网络更加关注缺陷区域的特征学习。在工业LED缺陷数据集上的实验结果表明,本方法生成的缺陷具有更逼真的视觉效果和更低的FID指数,同时有效提升了基于RetinaNet算法的缺陷检测精度。     

改进FCOS网络的海洋鱼类目标检测

鱼类的探索与保护是保持海洋生态环境平衡的重要一环,然而水下环境复杂,受光照、水质以及遮挡物的影响,造成水下捕捉鱼类图像成像模糊识别困难,制约水下鱼类目标的检测速度以及检测精度.针对以上问题,提出了一种基于改进FCOS的海洋鱼类识别模型.首先,该模型以一阶段算法FCOS为基本架构,使用轻量级的Mobile Netv2作为骨干网络,既保证检测准确度,还可以提高检测;其次,引入自适应空间特征融合(adaptively spatial feature fusion, ASFF)模块,避免尺度特征的不一致性,提高检测精度;最后,将center-ness分支引入到回归分支中,引入联合交并比损失(GIoU loss, generalized intersection over union)提高检测的性能.实验数据集使用公开数据集Fish4Knowledge (F4K)中的图片以及视频帧截取图片,选取训练性能最优模型进行评估.结果表明,提出的新模型在以上数据集的平均检测精度分别为99.79%、99.88%,相较于原模型以及其他检测模型本文提出模型的检测精度与识别速度更高,可为海洋鱼类识别提供参考依据.     

深度区域网络方法的细粒度图像分类

目的 在细粒度视觉识别中,难点是对处于相同层级的大类,区分其具有微小差异的子类,为实现准确的分类精度,通常要求具有专业知识,所以细粒度图像分类为计算机视觉的研究提出更高的要求。为了方便普通人在不具备专业知识和专业技能的情况下能够区分物种细粒度类别,进而提出一种基于深度区域网络的卷积神经网络结构。方法 该结构基于深度区域网络,首先,进行深度特征提取任务,使用VGG16层网络和残差101层网络两种结构作为特征提取网络,用于提取深层共享特征,产生特征映射。其次,使用区域建议网络结构,在特征映射上进行卷积,产生目标区域;同时使用兴趣区域（RoI）池化层对特征映射进行最大值池化,实现网络共享。之后将池化后的目标区域输入到区域卷积网络中进行细粒度类别预测和目标边界回归,最终输出网络预测类别及回归边框点坐标。同时还进行了局部遮挡实验,检测局部遮挡部位对于分类正确性的影响,分析局部信息对于鸟类分类的影响情况。结果 该模型针对CUB_200_2011鸟类数据库进行实验,该数据库包含200种细粒度鸟类类别,11 788幅鸟类图片。经过训练及测试,实现VGG16+R-CNN （RPN）和Res101+R-CNN （RPN）两种结构验证正确率分别为90.88%和91.72%,两种结构Top-5验证正确率都超过98%。本文模拟现实环境遮挡情况进行鸟类局部特征遮挡实验,检测分类效果。结论 基于深度区域网络的卷积神经网络模型,提高了细粒度鸟类图像的分类性能,在细粒度鸟类图像的分类上,具有分类精度高、泛化能力好和鲁棒性强的优势,实验发现头部信息对于细粒度鸟类分类识别非常重要。     

基于篡改伪影的深度伪造检测方法

随着深度伪造（Deepfake）技术的不断发展,犯罪分子可以利用造假图片伪造不在场证明,从而误导侦查方向以逃避法律责任。现有多数检测方法依赖于数据驱动,在跨压缩率、跨分辨率方面鲁棒性不强。研究Deepfake视频在脸部区域所遗留的伪影,建立一种基于Xception的双流网络检测模型,以实现对Deepfake图片的自动检测。利用Xception网络提取图片的全局空域特征,对脸部区域进行有效遮挡,凸显出脸部伪影并提取伪影特征。在此基础上,将空域特征与伪造特征2个支流的预测结果进行融合判别。在Deepfakes数据集上的实验结果表明,该模型的测试精度高达0.986 4。