基于孪生网络的鲁棒红外目标跟踪算法

针对红外目标跟踪获得的目标特征鲁棒性差以及模型漂移易导致跟踪失败等问题,提出基于孪生网络的鲁棒红外目标跟踪算法,即利用预训练孪生网络提取红外目标多卷积层特征,以获取红外对象的空间及语义信息.通过相对熵滤波网络进行响应图融合,并以融合后的响应图为基础设计自适应模板的更新策略.在具有挑战性的红外跟踪数据集VOT-TIR20...     

融合位置信息注意力的孪生弱目标跟踪算法

经典孪生网络弱特征目标跟踪存在鲁棒性差的问题。为此，设计了一种融合目标二维位置信息注意力机制的孪生网络算法。该算法以区域候选孪生网络（siamese region proposal network,SiamRPN）为基础，包括特征提取网络部分和相似度计量部分。在特征提取网络部分，引入了位置信息注意力模块来提取目标特征二维位置信息以提升网络对弱目标的特征提取能力。采用了轻量深度特征提取网络MobileNetV2来减少特征提取网络部分模型参数和计算量；在相似度计量部分，基于多层特征融合的相似度计量方法深入挖掘特征提取网络浅层特征的定位信息和深层特征的语义信息，加强了算法的跟踪准确性和定位精度。实验结果表明，所提出的算法在UAV123数据集上成功率相较于SiamRPN基础算法提升了12.6%，跟踪精度提升了8.4%，且跟踪速度每秒74帧，在提升成功率的同时满足了实时性的要求。     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法（SiamFC）的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法。在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适应融合。在OTB2015和VOT2018数据集上得到的实验结果表明,与SiamFC相比,所提算法能够更好地应对运动模糊、目标漂移和背景多变等问题,取得了更高的准确率和成功率。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

级联特征融合孪生网络目标跟踪算法研究

在光照变化、遮挡、背景相似、变形等复杂情况下,目标跟踪过程中难以精确地提取丰富的特征信息,容易导致目标跟踪出现漂移或者跟踪丢失.由于多层神经网络的浅层特征具有高分辨率,适合于目标定位;深层特征具有丰富的语义信息,适合于目标分类.充分利用这一优势,提出了一种级联特征融合的孪生网络目标跟踪算法.对ResNet-50网络进行...     

区域损失函数的孪生网络目标跟踪

针对预训练卷积神经网络提取的深度特征空间分辨率低,快速运动造成运动目标空间细节信息丢失等问题,提出用区域损失函数构建孪生网络的目标跟踪,进一步降低深度特征通道之间的冗余性,并减少高层信息丢失。利用线下预训练的VGG-16卷积神经网络提取深度特征,构成初始深度特征空间。通过区域损失函数构建特征和尺度选择网络,根据反向传播的梯度大小进行特征选择。对筛选后的特征进行拼接,融入到孪生网络中匹配跟踪。在OTB-2013、OTB-2015、VOT2016、TempleColor数据集上与其他算法对比。实验结果表明,该算法在快速运动、低分辨率等场景中表现出较好的跟踪精度和鲁棒性。     

基于难样本挖掘的孪生网络目标跟踪

为了解决全卷积孪生网络目标跟踪算法(SiamFC)在复杂环境下容易出现跟踪漂移甚至跟踪失败的问题,提出了一种基于难样本挖掘的孪生网络目标跟踪方法。该方法在SiamFC算法的基础上,首先利用特征融合模块进行特征融合,以提高特征表征的鲁棒性,然后引入一个新的损失函数,加强网络对难样本的学习能力并缓解正负样本不平衡的问题。为验证该方法的有效性,在OTB2015和GOT10k数据集上对算法进行测试实验。实验结果表明,在OTB2015数据集上该方法比SiamFC算法在成功率上提高2.6%,精度上提高2%;在GOT10k数据集上该方法的mAO为0.429,相比SiamFC算法提高了3.7%,在光照变化、目标形变、相似背景干扰情况下具有更好的表现。     

基于深度像素级特征的孪生网络目标跟踪方法

目标尺度变化和低分辨率的复杂场景往往会影响目标跟踪算法的性能进而导致跟踪精度下降。本文针对此问题，提出了一种基于深度像素级特征的孪生网络目标跟踪方法。引入像素级特征融合方法对目标模板和搜索区域的多层特征进行融合、设计基于残差网络和拓扑结构的特征深层提取模块、依据判据筛选历史信息得到合适模板特征进行模板更新。实验结果表明，本文改进算法在VOT2018数据集上比基础算法的EAO值提升了5.31%，准确率提升了0.83%，鲁棒性提升了3.85%；在OTB100数据集上，本文算法精确率为91.4%，成功率为71.7%，与基础算法相比，精确率提升了3.28%，成功率提升了5.13%。     

基于自适应模板更新的改进孪生卷积网络目标跟踪算法

现有的孪生网络目标跟踪算法采用边界框模板进行跟踪,在目标形变、遮挡等干扰下很容易导致跟踪漂移。在轮廓检测网络和孪生卷积网络(Siamese)跟踪网络的基础上,提出一种基于深度轮廓模板更新的改进孪生卷积网络目标跟踪算法。利用轮廓检测网络获取目标边缘轮廓,降低背景杂波干扰;利用改进的Siamese网络获得轮廓模板和搜索区域的深度特征;通过相似性匹配获得最优跟踪目标。仿真实验结果表明,所提出的改进模型能够提高目标形变、遮挡等干扰下目标跟踪性能,具有较高的工程应用价值。     

基于孪生网络融合多模板的目标跟踪算法

基于全卷积孪生网络的视频目标跟踪算法由于在跟踪过程中使用单一模板,在运动目标外观发生变化时容易出现跟踪漂移并导致精度下降.因此,提出了一种基于孪生网络融合多模板的目标跟踪算法.该算法可在特征级上建立模板库,并使用平均峰值相关能量和模板相似度来保证模板库中各个模板的有效性,从而对多个响应图进行融合以获得更高的跟踪精度.O...     

用于目标跟踪的孪生渐进注意引导融合网络

针对基于孪生网络的目标跟踪中大部分方法是利用主干网络的最后一层语义特征来计算相似度,而单一地利用深层特征空间往往是不够的问题,提出基于孪生网络的渐进注意引导融合跟踪方法.首先采用主干网络提取深层和浅层特征信息;然后通过特征聚合模块,以自顶向下的方法去编码融合深层语义信息以及浅层空间结构信息,并利用注意力模块减少融合产生的特征冗余;最后计算目标和搜索区域的匹配相似度,以进行目标跟踪.在加入注意力模块后,跟踪器可以选择性地整合多层特征信息,提升了跟踪器的性能.在OTB2013,OTB50,OTB2015,VOT2016以及VOT2017这5个公共基准数据库上,与SiamDW等方法进行实验的结果表明,文中方法能够有效地提升跟踪的精度及成功率.     

基于条件对抗生成孪生网络的目标跟踪

为解决被跟踪目标在快速剧烈运动时,因运动模糊和低分辨率使模型发生漂移,导致跟踪器跟踪效果 变差甚至跟踪失败的问题,对全卷积孪生网络跟踪算法(SiamFC)进行改进,提出一种基于条件对抗生成 孪生网络的目标跟踪算法(CGANSiamFC).首先,在SiamFC框架的基础上嵌入条件对抗生成网络模块,对输入 的低分辨率模糊视频帧去模糊化;然后,利用全卷积孪生网络对重建后的视频帧进行特征提取,使模型的表征能力 进一步提升;最后,采用分离训练和线上组合方式对改进后的跟踪算法进行训练和测试,并使用视觉跟踪基准 数据集OTB100对改进后的跟踪算法进行性能评估;同时,为了充分验证所提出算法的有效性,使用传统的Lucy-Richardson去模糊算法对SiamFC加以改进,并与CGANSiamFC进行对比分析.实验结果表明,所提出的CGANSiamFC综合精确率和成功率指标比原SiamFC分别提高9%和8%,对运动模糊和低分辨率运动目标具有良好的跟踪效果.     

基于孪生卷积神经网络的人脸追踪

由于光照、遮挡、尺度变化等原因,在真实多变场景下完成人脸追踪面临挑战。探究了基于卷积神经网络（CNN）的人脸追踪,将基本的卷积神经网络改进为孪生神经网络,在OTB数据集上采用端到端的方式,以成对图像区域作为输入,输出两者距离,通过距离评估图像区域相似性;加入边框回归算法（bounding box regression）微调追踪结果。实验结果表明,改进后的神经网络优于传统的卷积神经网络,能达到更好的人脸追踪效果。     

基于时空上下文信息增强的目标跟踪算法

充分利用视频中的时空上下文信息能明显提高目标跟踪性能,但目前大多数基于深度学习的目标跟踪算法仅利用当前帧的特征信息来定位目标,没有利用同一目标在视频前后帧的时空上下文特征信息,导致跟踪目标易受到邻近相似目标的干扰,从而在跟踪定位时会引入一个潜在的累计误差。为了保留时空上下文信息,在SiamMask算法的基础上引入一个短期记忆存储池来存储历史帧特征;同时,提出了外观显著性增强模块（ASBM）,一方面增强跟踪目标的显著性特征,另一方面抑制周围相似目标对目标的干扰。基于此,提出一种基于时空上下文信息增强的目标跟踪算法。在VOT2016、VOT2018、DAVIS-2016和DAVIS-2017等四个数据集上进行实验与分析,结果表明所提出的算法相较于SiamMask算法在VOT2016上的准确率和平均重叠率（EAO）分别提升了4个百分点和2个百分点;在VOT2018上的准确率、鲁棒性和EAO分别提升了3.7个百分点、2.8个百分点和1个百分点;在DAVIS-2016上的区域相似度、轮廓精度指标中的下降率均分别降低了0.2个百分点;在DAVIS-2017上的区域相似度、轮廓精度指标中的下降率分别降低了1.3和0.9个百分点。     

基于负样本挖掘与特征融合的高速跟踪算法

随着目标跟踪技术在多种视觉任务中的广泛应用,跟踪算法的实时性变得越来越重要.全卷积孪生网络跟踪算法(SiamFC)虽然在跟踪速度方面较为理想,但在复杂的跟踪环境下很容易出现跟踪漂移.为了能在提高算法精度的同时保证实时性,提出一种基于负样本挖掘与特征融合的高速跟踪算法.首先,为了学到更深层次特征,又不过多增加额外参数运算,使用增加了剪裁层的轻量级网络ShuffleNetV2进行特征提取,提升跟踪速度;其次,在离线训练阶段引入不同种类的负样本对,加强对语义信息的学习,从而提升模型的特征判别能力;最后,为了得到更高质量的响应图,提出一种多尺度特征融合策略,充分利用浅层与深层特征,提高跟踪精度.在OTB100和VOT2018两个数据集上与其他跟踪算法进行对比实验,结果表明:所提出算法较基准算法SiamFC在各项指标上有大幅度提升,在两个数据集下分别收获8.3%和7.9%的增益;同时在NIVIDA GTX l070下的速度可达114FPS.     

结合双金字塔特征融合与级联定位的车牌检测

为了解决复杂环境中不同因素干扰车牌检测精确度的问题,提出了一种基于双金字塔特征融合的复杂环境下车牌检测算法。通过采用Mish激活函数的残差网络（ResNet101-M）对输入图像进行初级特征提取;在传统特征金字塔网络（feature pyramid network,FPN）的基础上,提出了一种改进的双金字塔特征融合网络（siamese feature pyramid network,SFPN）。被提取的初级特征被送入该网络进行多层特征融合。融合后的特征被送入基于形状先验的锚点设置网络来确定感兴趣区域。将所生成的感兴趣区域送入级联定位网络从而得到准确的车牌检测结果。实验结果表明,该算法在AOLP与CCPD车牌数据集上均能够有效提升检测性能。     

基于异步相关判别性学习的孪生网络目标跟踪算法

现有基于孪生网络的单目标跟踪算法能够实现很高的跟踪精度,但是这些跟踪器不具备在线更新的能力,而且其在跟踪时很依赖目标的语义信息,这导致基于孪生网络的单目标跟踪算法在面对具有相似语义信息的干扰物时会跟踪失败.为了解决这个问题,提出了一种异步相关响应的计算模型,并提出一种高效利用不同帧间目标语义信息的方法.在此基础上,提出了一种新的具有判别性的跟踪算法.同时为了解决判别模型使用一阶优化算法收敛慢的问题,使用近似二阶优化的方法更新判别模型.为验证所提算法的有效性,分别在Got-10k、TC128、OTB和VOT2018数据集上做了对比实验,实验结果表明,该方法可以明显地改进基准算法的性能.     

联合一二阶池化网络学习的遥感场景分类

目前大多数池化方法主要是从一阶池化层或二阶池化层提取聚合特征信息,忽略了多种池化策略对场景的综合表示能力,进而影响到场景识别性能。针对以上问题,提出了联合一二阶池化网络学习的遥感场景分类模型。首先,利用残差网络ResNet-50的卷积层提取输入图像的初始特征。接着,提出基于特征向量相似度的二阶池化方法,即通过特征向量间的相似度求出其权重系数来调制特征值的信息分布,并计算有效的二阶特征信息。同时,引入一种有效的协方差矩阵平方根逼近求解方法,以获得高阶语义信息的二阶特征表示。最后,基于交叉熵和类距离加权的组合损失函数训练整个网络,从而得到富于判别性的分类模型。所提方法在AID（50%训练比例）、NWPU-RESISC45 （20%训练比例）、CIFAR-10和CIFAR-100数据集上的分类准确率分别达到96.32%、93.38%、96.51%和83.30%,与iSQRT-COV方法相比,分别提高了1.09个百分点、0.55个百分点、1.05个百分点和1.57个百分点。实验结果表明,所提方法有效提高了遥感场景分类性能。     

全卷积目标检测的改进算法

基于无锚点的单阶段全卷积目标检测算法（FCOS）无需生成大量的锚点避免了样本不平衡问题,但FCOS可能更适应于某一特定场景。为了增强特征融合,并提高目标检测的准确性,提出了全卷积目标检测算法FCOS的改进算法ConFCOS。该算法设计了一个增强的特征金字塔网络,引入带有全局上下文信息的注意力模块和空洞卷积模块,以减少特征融合过程中的信息衰减。另外,构建了一个级联检测头来检测对象,对检测的边界框进行细化来提高分类和回归的置信度。此外,针对提出的ConFCOS的损失函数进行了优化以提高目标检测的准确率。在COCO数据集上进行的实验表明,ConFCOS的准确度比FCOS提高了1.6个百分点。