基于混合注意力机制的目标跟踪算法

针对全卷积孪生网络目标跟踪算法(SiamFC)在目标形变、遮挡和快速运动等复杂场景中易导致跟踪失败的问题,提出一种利用混合注意力机制增强网络识别能力的算法(SiamMA)。首先,在训练阶段提出堆叠裁剪法构建自对抗训练样本对,以模拟实际跟踪时的复杂场景,使训练的网络模型具有更强的泛化性。其次提出混合注意力机制,在网络不同分支融合使用空间注意力和通道注意力网络模块,有效抑制了特征图中的背景干扰,提升算法的鲁棒性。采用GOT-10k、UAV123等4种数据集进行算法性能评测实验,结果表明本文算法的跟踪成功率、精度等主要性能指标较SiamFC和KCF等6种经典算法均有提升,平均速度达到60 fps。     

基于互注意力指导的孪生跟踪算法

针对传统孪生网络目标跟踪算法在相似物干扰、目标形变、复杂背景等跟踪环境下无法进行鲁棒跟踪的问题,提出了注意力机制指导的孪生网络目标跟踪方法,以弥补传统孪生跟踪方法存在的性能缺陷.首先,利用卷积神经网络ResNet50的不同网络层来提取多分辨率的目标特征,并设计互注意力模块使模板分支与搜索分支之间的信息能够相互流动.然后...     

复杂场景下一种改进的单目标跟踪算法研究

针对部分复杂场景下目标跟踪存在跟踪框漂移问题,基于孪生候选区域生成网络(SiamRPN),融合通道注意力模块和选择核心模块(SK Module),提出一种单目标跟踪算法CAKSiamRPN。特征提取部分引入高效通道注意模块(ECAM)和基于标准化的通道注意力模块(NCAM),在不降低通道维度的情况下,摒弃相似信息,突出显著特征,关注并提取特定信息;在候选区域生成网络(RPN)嵌入SK Module,增强全局信息嵌入,减少填充操作的影响。将改进算法与SiamRPN及其它经典单目标跟踪算法在OTB100和UAV123数据集上进行实验对比。实验结果表明：跟踪精度和成功率明显提高,能更好地适应复杂场景,具有更强的鲁棒性。     

融合HOG特征和注意力模型的孪生目标跟踪算法

为了提高跟踪算法在目标发生形变和被遮挡时的准确性,提出一种融合HOG(histogram of oriented gradient)特征和注意力模型的孪生目标跟踪算法.首先,采用对ResNet残差模型改进后的CIR(cropping inside residual)模型塑造孪生目标跟踪网络的骨干网络,充分利用不同层次的特征图,同时加深网络;其次,融入HOG特征,增强网络对图形几何变化的鲁棒性;再次,加入CBAM(convolutional block attention module)注意力模型,使网络能够在结合上下文信息的同时调节HOG特征在特征图中所占比例,增强特征图中的有效特征,弱化无效特征,使网络中各特征图发挥出最好的效果;最后,定义算法的损失函数.实验结果表明,所提算法在GOT-10k数据集上进行训练后,能够在OTB100上获得较好的跟踪效果,在该数据集中精确率和成功率分别达到81.9%和60.6%.在目标物体发生形变和被遮挡的情况下,所提算法仍能取得较好的跟踪效果.     

基于注意力机制和孪生网络的跟踪算法研究

提出融合卷积通道注意力机制、堆叠通道注意力机制和空间注意力机制的孪生网络跟踪器（ThrAtt-Siam）来提升跟踪性能。ThrAtt-Siam跟踪器以SiameseFC为基础,通过在低卷积层融合卷积通道注意力机制、两个特征图与两个卷积块,加强目标物体特征提取,提高跟踪器对背景特征抗干扰能力和辨别能力;在目标图像分支融合堆叠通道注意力机制与空间注意力机制,其中堆叠通道注意力机制可有效区分有用特征与无用特征,同时针对不同通道的有用特征进行提取,空间注意力机制可有效地补充目标物体特征在通道空间中的信息,能够更好地对目标进行定位。在OTB2015和VOT2017数据集上的实验结果表明,ThrAtt-Siam跟踪器对目标物体形变、低分辨率和遮挡问题都取得了较好的跟踪准确率和成功率。     

融合位置信息注意力的孪生弱目标跟踪算法

经典孪生网络弱特征目标跟踪存在鲁棒性差的问题。为此，设计了一种融合目标二维位置信息注意力机制的孪生网络算法。该算法以区域候选孪生网络（siamese region proposal network,SiamRPN）为基础，包括特征提取网络部分和相似度计量部分。在特征提取网络部分，引入了位置信息注意力模块来提取目标特征二维位置信息以提升网络对弱目标的特征提取能力。采用了轻量深度特征提取网络MobileNetV2来减少特征提取网络部分模型参数和计算量；在相似度计量部分，基于多层特征融合的相似度计量方法深入挖掘特征提取网络浅层特征的定位信息和深层特征的语义信息，加强了算法的跟踪准确性和定位精度。实验结果表明，所提出的算法在UAV123数据集上成功率相较于SiamRPN基础算法提升了12.6%，跟踪精度提升了8.4%，且跟踪速度每秒74帧，在提升成功率的同时满足了实时性的要求。     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法（SiamFC）的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法。在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适应融合。在OTB2015和VOT2018数据集上得到的实验结果表明,与SiamFC相比,所提算法能够更好地应对运动模糊、目标漂移和背景多变等问题,取得了更高的准确率和成功率。     

基于注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法

为了解决目标跟踪过程中复杂场景下精度不高以及网络训练时正负样本不平衡的问题,提出一种结合注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法。该算法采用孪生卷积神经网络提取图像特征,并在特征提取过程中引入通道注意力机制,提升卷积特征的表征能力;利用特征金字塔模型对高低层卷积特征进行融合,将融合后的特征进行相似性学习;通过使用focal loss函数,来解决训练正负样本不平衡的问题。在OTB100和VOT2015数据集上对该算法进行实验验证与分析,结果表明,该算法精度和成功率都取得了较好的效果,具有较好的应用价值。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

基于孪生区域候选网络的无人机指定目标跟踪

基于孪生网络的目标跟踪目前取得了阶段性进展,即克服了孪生网络的空间不变性在深度网络中的限制,然而其仍存在外观变化、尺度变化、遮挡等因素影响跟踪性能.针对无人机(UAV)指定目标跟踪中的目标尺度变化大、目标运动模糊及目标尺度小等问题,提出了基于孪生区域候选注意力机制网络的跟踪算法Attention-SiamRPN+.首先...     

局部与全局相融合的孪生低照度视频增强网络

在低照度环境下拍摄到的视频往往有对比度低、噪点多、细节不清晰等问题, 严重影响后续的目标检测、分割等计算机视觉任务. 现有的低照度视频增强方法大都是基于卷积神经网络构建的, 由于卷积无法充分利用像素之间的长程依赖关系, 生成的视频往往会有部分区域细节丢失、颜色失真的问题. 针对上述问题, 提出了一种局部与全局相融合的孪生低照度视频增强网络模型, 通过基于可变形卷积的局部特征提取模块来获取视频帧的局部特征, 并且设计了一个轻量级自注意力模块来捕获视频帧的全局特征, 最后通过特征融合模块对提取到的局部特征和全局特征进行融合, 指导模型能生成颜色更真实、更具细节的增强视频. 实验结果表明, 本方法能有效提高低照度视频的亮度, 生成颜色和细节都更丰富的视频, 并且在峰值信噪比和结构相似性等评价指标中也都优于近几年提出的方法.     

基于双域自注意力机制的行人属性识别

针对行人属性识别任务中不同属性对特征粒度和特征依赖性的需求不同的问题,提出了一种基于由空间自注意力机制和通道自注意力机制组成的双域自注意力机制的行人属性识别模型.首先,使用ResNet50作为骨干网络,提取出具有一定语义信息的特征;然后将得到的特征分别输入到双分支网络中,提取具有空间依赖性与语义相关性的自注意力特征以及...     

基于双重注意力孪生网络的实时视觉跟踪

为了解决全卷积孪生网络（SiamFC）跟踪算法在跟踪目标经历剧烈的外观变化时容易发生模型漂移从而导致跟踪失败的问题，提出了一种双重注意力机制孪生网络（DASiam）去调整网络模型并且不需要在线更新。首先，主干网络使用修改后表达能力更强的并适用于目标跟踪任务的VGG网络；然后，在网络的中间层加入一个新的双重注意力机制去动态地提取特征，这种机制由通道注意机制和空间注意机制组成，分别对特征图的通道维度和空间维度进行变换得到双重注意特征图；最后，通过融合两个注意机制的特征图进一步提升模型的表征能力。在三个具有挑战性的跟踪基准库即OTB2013、OTB100和2017年视觉目标跟踪库（VOT2017）实时挑战上进行实验，实验结果表明，以40 frame/s的速度运行时，所提算法在OTB2013和OTB100上的成功率指标比基准SiamFC分别高出3.5个百分点和3个百分点，并且在VOT2017实时挑战上面超过了2017年的冠军SiamFC，验证了所提出算法的有效性。     

SA-CapsNet:自注意力胶囊网络

胶囊网络(CapsNet)强调对图像特征的空间关系进行编码,但是其特征提取模块难以应对复杂分类场景.为了提升CapsNet的性能,提出了一种具有自注意力(self-attention)特征提取模块的胶囊网络(self-attention capsule network,SA-CapsNet).首先通过降低胶囊维度,并增加一个中间层来改进CapsNet;然后将SA模块映射到胶囊网络的特征提取层,增加特征提取能力.在MNIST、Fashion MNIST和CIFAR10数据集上进行实验,分类准确率分别为99.67％、92.21％和82.51％.实验结果验证了改进网络的有效性,整体性能有较大提升.     

基于自注意力机制的局部与全局特征融合的评分预测算法

为了完全挖掘异质信息网络中节点的特征并且更好地融合这些特征,提高推荐算法的性能,提出一种基于自注意力机制的局部与全局特征融合的评分预测算法（rating prediction algorithm based on self-attention mechanism and fusion of local & global features,AMFL&GRec）。首先基于LeaderRank算法提取目标节点的全局序列,基于元路径带偏置的随机游走算法提取节点的局部序列,通过skip-gram模型分别学习节点的全局特征与局部特征;通过自注意力机制学习目标节点对局部与全局特征的偏好,从而得到在单一元路径下节点的特征表示;再通过自注意力机制融合不同元路径下同一节点的表示,从而得到节点在不同元路径下的最终的特征表示;最后基于多层感知器实现评分预测任务。在两个真实数据集进行了大量实验,实验结果验证了AMFL&GRec算法不仅能够捕获具有密集连通节点的微观（局部）结构,而且还能够捕获该节点在网络中的全局结构,从而使其得到的节点特征得以体现节点的整体（局部+全局）特征。同时,实验结果也证明了AMFL&GRec算法评分预测性能优于对比算法,从而证明利用自注意力机制考虑异质信息网络中节点对于局部、全局特征以及元路径的偏好能够提高评分预测的准确性。     

基于时空注意力机制的目标跟踪算法

目标跟踪技术在智能监控、人机交互、无人驾驶等诸多领域得到了广泛的应用。近年来,学者们提出了许多高效的算法。然而,随着跟踪环境越来越复杂,目标跟踪算法在遮挡、光照变化、背景干扰等复杂环境下仍然面临着巨大的挑战,从而导致目标跟踪失败。针对上述问题,提出了一种基于时空注意力机制的目标跟踪算法。首先,采用孪生网络架构来提高对特征的判别能力;然后,引入改进的通道注意力机制和空间注意力机制,对不同通道和空间位置的特征施加不同的权重,并着重关注空间位置和通道位置上对目标跟踪有利的特征。此外,还提出了一种高效的目标模板在线更新机制,将第一帧图像特征与后续跟踪图像帧中置信度较高的图像特征进行融合,以降低发生目标漂移的风险。最后,在OTB2013和OTB2015数据集上对所提跟踪算法进行了测试。实验结果表明,所提算法的性能相比当前主流的跟踪算法提高了6.3%。     

引入短时记忆的Siamese网络目标跟踪算法

为提升目标跟踪算法在复杂场景下的鲁棒性,使算法适应长时跟踪场景,提出结合多层特征融合和短时记忆机制的跟踪方法,提升目标跟踪的鲁棒性。融合卷积神经网络多层特征,提升网络的特征提取能力。在跟踪阶段,引入了短时记忆模块,搜索区域特征分别与初始的基准模板特征和短时记忆的动态特征进行匹配,对得到的响应图进行融合,提升目标跟踪的鲁棒性,通过视频局部信息增强算法对跟踪目标的判别性。在OTB2015和GOT-10K目标跟踪标准数据集上进行了实验,在OTB2015上的精确度和成功率分别达到了0.808和0.593。实验结果表明,所提算法的测试效果与几种主流跟踪算法相比有了显著的提升,并且达到了27 帧/s的实时跟踪速度,证明了所提方法的有效性。     

基于自注意力机制的多域卷积神经网络的视觉追踪

为了解决多域卷积神经网络（MDNet）在目标快速移动和外观剧烈变化时发生的模型漂移问题,提出了自注意力多域卷积神经网络（SAMDNet）,通过引入自注意力机制从通道和空间两个维度来提升追踪网络的性能。首先,利用空间注意力模块将所有位置上的特征的加权总和选择性地聚合到特征图中的所有位置上,使得相似的特征彼此相关;然后,利用通道注意力模块整合所有特征图来选择性地强调互相关联的通道的重要性;最后,融合得到最终的特征图。此外,针对MDNet算法因训练数据中存在较多相似但属性不同的序列所造成的网络模型分类不准的问题,构造了复合损失函数。该复合损失函数由分类损失函数和实例判别损失函数组成,首先,用分类损失函数来统计分类的损失值;然后,利用实例判别损失函数来提高目标在当前视频序列中的权重,抑制其在其他序列中的权重;最后,融合两项损失作为模型的最终损失。在目前广泛采用的测试基准数据集OTB50和OTB2015上进行实验,结果表明所提出的算法在成功率指标上相比2015年视觉目标跟踪挑战（VOT2015）的冠军算法MDNet分别提高了1.6个百分点和1.4个百分点,在精确率和成功率指标上优于连续域卷积相关滤波（CCOT）算法,在OTB50上的精确率指标优于高效卷积操作（ECO）算法,验证了该算法的有效性。