基于条件对抗网和层次特征融合的目标跟踪

为了解决目标跟踪过程中因运动模糊和低分辨率导致跟踪效果变差的问题,提出一种基于条件对抗网和层次特征融合的目标跟踪算法。使用条件对抗生成网络模型（DeblurGAN-v2）,对输入的低分辨率视频帧去模糊;使用改进型VGG-19网络提取目标候选区域的Conv2、Conv4、Conv6三层特征,将孪生网络提取到的低层结构特征、中层特征与高层语义特征进行融合,以提高特征的表征能力。在目标跟踪评估数据集OTB2015与VOT2018上的实验结果表明,与SiamFC、SiamDW等其他算法相比,该算法具有更高的准确性,能够适应目标遮挡运动模糊、外观变化及背景干扰等复杂情况。相比于SiamFC,改进算法在OTB2015数据集上成功率提升5.5个百分点,在VOT2018数据集上EAO提升16.4个百分点。     

基于混合注意力机制的目标跟踪算法

针对全卷积孪生网络目标跟踪算法(SiamFC)在目标形变、遮挡和快速运动等复杂场景中易导致跟踪失败的问题,提出一种利用混合注意力机制增强网络识别能力的算法(SiamMA)。首先,在训练阶段提出堆叠裁剪法构建自对抗训练样本对,以模拟实际跟踪时的复杂场景,使训练的网络模型具有更强的泛化性。其次提出混合注意力机制,在网络不同分支融合使用空间注意力和通道注意力网络模块,有效抑制了特征图中的背景干扰,提升算法的鲁棒性。采用GOT-10k、UAV123等4种数据集进行算法性能评测实验,结果表明本文算法的跟踪成功率、精度等主要性能指标较SiamFC和KCF等6种经典算法均有提升,平均速度达到60 fps。     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法（SiamFC）的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法。在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适应融合。在OTB2015和VOT2018数据集上得到的实验结果表明,与SiamFC相比,所提算法能够更好地应对运动模糊、目标漂移和背景多变等问题,取得了更高的准确率和成功率。     

基于难样本挖掘的孪生网络目标跟踪

为了解决全卷积孪生网络目标跟踪算法(SiamFC)在复杂环境下容易出现跟踪漂移甚至跟踪失败的问题,提出了一种基于难样本挖掘的孪生网络目标跟踪方法。该方法在SiamFC算法的基础上,首先利用特征融合模块进行特征融合,以提高特征表征的鲁棒性,然后引入一个新的损失函数,加强网络对难样本的学习能力并缓解正负样本不平衡的问题。为验证该方法的有效性,在OTB2015和GOT10k数据集上对算法进行测试实验。实验结果表明,在OTB2015数据集上该方法比SiamFC算法在成功率上提高2.6%,精度上提高2%;在GOT10k数据集上该方法的mAO为0.429,相比SiamFC算法提高了3.7%,在光照变化、目标形变、相似背景干扰情况下具有更好的表现。     

特征增强的孪生网络高速跟踪算法

近年来,实时的目标跟踪技术在许多复杂视觉系统中都发挥了重要的作用,跟踪算法作为其中的一个关键环节,不仅需要具备高精度还需要满足实时性。SiamFC算法在提出时由于可以较好地平衡精度与速度,受到了广泛的关注。但是SiamFC算法使用较浅的骨干网络,提取到的特征难以应对复杂多变的跟踪环境,容易导致跟踪漂移。为了同时提高算法的跟踪精度与速度,提出了一种特征增强的轻量级孪生网络高速跟踪算法。首先,使用改进后的轻量级网络ShuffleNetV2作为骨干网络提取特征,在减少模型参数量与计算量的同时大幅提升跟踪速度;其次,在孪生网络的模板分支末端嵌入通道与空间双重注意力来调整不同通道和空间位置的响应权重,突出对跟踪有益的特征;最后,采用分层特征融合策略,同时利用网络提取的深层语义特征与浅层结构特征,从多角度表征目标。在OTB100和VOT2018两个数据集上与当前一些优秀的跟踪算法进行对比实验,结果表明,所提算法在跟踪精度上有较大的优势,在困难场景下展现了较强的鲁棒性,同时算法在NVIDIA GTX1070下的速度可达110 FPS,相比SiamFC算法能够更好地兼顾跟踪精度与速度。     

基于双重注意力孪生网络的实时视觉跟踪

为了解决全卷积孪生网络（SiamFC）跟踪算法在跟踪目标经历剧烈的外观变化时容易发生模型漂移从而导致跟踪失败的问题，提出了一种双重注意力机制孪生网络（DASiam）去调整网络模型并且不需要在线更新。首先，主干网络使用修改后表达能力更强的并适用于目标跟踪任务的VGG网络；然后，在网络的中间层加入一个新的双重注意力机制去动态地提取特征，这种机制由通道注意机制和空间注意机制组成，分别对特征图的通道维度和空间维度进行变换得到双重注意特征图；最后，通过融合两个注意机制的特征图进一步提升模型的表征能力。在三个具有挑战性的跟踪基准库即OTB2013、OTB100和2017年视觉目标跟踪库（VOT2017）实时挑战上进行实验，实验结果表明，以40 frame/s的速度运行时，所提算法在OTB2013和OTB100上的成功率指标比基准SiamFC分别高出3.5个百分点和3个百分点，并且在VOT2017实时挑战上面超过了2017年的冠军SiamFC，验证了所提出算法的有效性。     

深度学习下的目标跟踪综述

视觉目标跟踪是在给定目标初始信息的情况下,建立目标跟踪模型对目标运动状态进行预测。梳理深度学习下现存的目标跟踪算法,从基于卷积神经网络方法、基于循环神经网络方法、基于生成对抗网络方法和基于孪生网络的方法几个方面,对基于深度学习的目标跟踪算法进行综述;总结了目前代表性的数据集;展望了视觉目标跟踪技术的发展趋势。     

基于负样本挖掘与特征融合的高速跟踪算法

随着目标跟踪技术在多种视觉任务中的广泛应用,跟踪算法的实时性变得越来越重要.全卷积孪生网络跟踪算法(SiamFC)虽然在跟踪速度方面较为理想,但在复杂的跟踪环境下很容易出现跟踪漂移.为了能在提高算法精度的同时保证实时性,提出一种基于负样本挖掘与特征融合的高速跟踪算法.首先,为了学到更深层次特征,又不过多增加额外参数运算,使用增加了剪裁层的轻量级网络ShuffleNetV2进行特征提取,提升跟踪速度;其次,在离线训练阶段引入不同种类的负样本对,加强对语义信息的学习,从而提升模型的特征判别能力;最后,为了得到更高质量的响应图,提出一种多尺度特征融合策略,充分利用浅层与深层特征,提高跟踪精度.在OTB100和VOT2018两个数据集上与其他跟踪算法进行对比实验,结果表明:所提出算法较基准算法SiamFC在各项指标上有大幅度提升,在两个数据集下分别收获8.3%和7.9%的增益;同时在NIVIDA GTX l070下的速度可达114FPS.     

基于孪生区域候选网络的无人机指定目标跟踪

基于孪生网络的目标跟踪目前取得了阶段性进展,即克服了孪生网络的空间不变性在深度网络中的限制,然而其仍存在外观变化、尺度变化、遮挡等因素影响跟踪性能.针对无人机(UAV)指定目标跟踪中的目标尺度变化大、目标运动模糊及目标尺度小等问题,提出了基于孪生区域候选注意力机制网络的跟踪算法Attention-SiamRPN+.首先...     

基于边缘学习的低分辨率图像识别算法

由于受光照条件、拍摄角度、传输设备以及周围环境的影响,刑侦视频图像中的目标物体往往分辨率较低,难以识别。针对低分辨率图像识别问题,在经典LeNet-5识别网络的基础上,提出了一种基于边缘学习的低分辨率图像识别算法。首先由边缘生成对抗网络生成低分辨率图像的幻想边缘,该边缘与高分辨率图像边缘相近;再将该低分辨图像的生成边缘信息作为先验信息融合到识别网络中对低分辨率图像进行识别。在MNIST、EMNIST和Fashion-mnist三个数据集上分别进行实验,结果表明,将低分辨图像的幻想边缘信息融合到识别网络中可以提高低分辨率图像的识别率。     

基于生成对抗网络的运动模糊图像复原

针对相机成像时相机抖动、物体运动等导致图像产生运动模糊这一十分具有挑战性的问题，提出基于生成对抗网络的深度卷积神经网络来复原模糊图像的解决方案。该方案省略了模糊核估计的过程，采用端对端的方式直接获取复原图像；通过引入生成对抗网络思想的对抗损失和对残差网络进行改进，有效地复原了图像的细节信息。最后通过训练此深度卷积神经网络模型并在相关模糊复原基准数据集上测试，证明了该方案取得了较好的结果。     

Designing mm-wave electromagnetic engineered surfaces using generative adversarial networks

Neural Computing and Applications - In this paper, we investigate the capability of generative adversarial networks, including conditional and conditional convolutional generative adversarial...     

基于条件深度卷积生成对抗网络的图像识别方法

生成对抗网络（Generative adversarial networks,GAN）是目前热门的生成式模型.深度卷积生成对抗网络（Deep convolutional GAN,DCGAN）在传统生成对抗网络的基础上,引入卷积神经网络（Convolutional neural networks,CNN）进行无监督训练;条件生成对抗网络（Conditional GAN,CGAN）在GAN的基础上加上条件扩展为条件模型.结合深度卷积生成对抗网络和条件生成对抗网络的优点,建立条件深度卷积生成对抗网络模型（Conditional-DCGAN,C-DCGAN）,利用卷积神经网络强大的特征提取能力,在此基础上加以条件辅助生成样本,将此结构再进行优化改进并用于图像识别中,实验结果表明,该方法能有效提高图像的识别准确率.     

基于深度学习的视觉单目标跟踪综述

单目标跟踪是一种在视频中利用目标外观和上下文信息对单个目标分析运动状态、提供定位的技术,在智能监控、智能交互、导航制导等方面具有应用前景,但遮挡、背景干扰、目标变化等问题导致实际应用的进展缓慢.随着近年来深度学习的快速发展,研究使用深度学习技术优化单目标跟踪算法已成为计算机视觉领域的热点之一.围绕基于深度学习的单目标跟踪算法,在分析了单目标跟踪的基本原理基础上,从相关滤波、孪生网络、元学习、注意力、循环神经网络和生成对抗网络六个方面,根据核心算法的不同分别进行了概述和分析;此外,对研究现状进行了总结,提出了算法的发展趋势和优化思路.     

基于可变形卷积的孪生网络目标跟踪算法

为解决多数基于孪生网络的跟踪算法存在骨干网络特征提取能力弱、模板不适应目标变化等问题,在SiamFC的基础上提出基于可变形卷积的孪生网络算法(DCSiam).首先,采用可变形卷积模块在不同方向上学习多层特征数据的自适应偏移量,增大卷积过程中的有效感受野;然后,通过多层可变形互相关融合得到最终响应图,以增强骨干网络的深层语义特征提取能力;最后,采用一种高置信度的模板在线更新策略,每隔固定帧计算响应图的峰值旁瓣比与最大值作为更新依据,使用加权的方式融合特征以更新模板.使用OTB2013、 OTB2015、VOT2016和VOT2017四个公共基准数据集对所提出算法进行跟踪性能评估,实验结果表明,在OTB2015数据集上, DCSiam算法整体精确率、成功率较基线分别提高9.5%和7.5%,很好地实现了复杂情况下的目标跟踪,验证了所提出算法的有效性.     

一种低参数的孪生卷积网络实时目标跟踪算法

针对基于深度学习的目标跟踪算法模型参数多、难以部署于嵌入式设备上的问题,提出一种改进的孪生卷积网络实时目标跟踪算法.设计一个非对称卷积模块来构建整个网络框架,通过非对称卷积模块的压缩层减少模型参数量,利用非对称层进行特征融合,以在保证精度的同时压缩模型大小.使用三元组损失函数代替逻辑损失函数进行模型训练,在输入不变的情...     

生成式对抗网络在超分辨率图像重建中的应用

针对现有卷积神经网络图像超分辨率算法容易出现过拟合、损失函数的收敛性不足等问题,结合超分辨率算法和生成式对抗网络(GAN)理论,设计一种基于生成式对抗网络的超分辨率算法PESRGAN用于恢复四倍下采样的图像。首先使用残差密集块(RDB)作为基本结构单元,有效避免了过拟合问题;其次使用双层特征损失并使用渗透指数(PI)作为损失的权值,更好地去学习低分辨率到高分辨率图像之间的映射关系;同时使用VGG19作为判别网络高分辨率图像进行分类;最后使用经典数据集,将PESRGAN算法与双三次插值(Bicubic)、SRGAN、ESRGAN算法在客观参数和主观视觉效果进行对比。实验结果表明:在经典数据集上,PESRGAN的平均峰值信噪比(PSNR)达到25.4 dB、平均结构相似性(SSIM)达到0.73,平均渗透指数(PI)达到1.15,在客观参数和主观评价上均优于其他算法,证明了PESRGAN有良好的超分辨率重建的效果。