多模型融合的孪生网络视觉跟踪

为提升孪生网络视觉跟踪算法的准确性,提出一种融合多任务差异化同质型模型的孪生网络视觉跟踪算法.首先在决策层对孪生网络视觉跟踪模型与目标分割模型进行融合,然后结合多尺度搜索区域、目标上下文特征、多学习率模型更新策略进行跟踪.在标准数据集VOT、OTB、LaSOT、UAV123上进行算法评估.实验结果表明,所提算法在遮挡、...     

基于孪生网络的轻量级高速跟踪算法

孪生网络跟踪算法将跟踪问题转换为相似性匹配问题引起广泛关注,然而,多数算法无法在移动端或算力不足的嵌入式设备上实现工程应用.为此,提出了一种基于孪生网络的轻量级高速跟踪算法.该算法以特征提取能力良好且参数量少的MobileNetV2作为主干网络,通过组卷积、Crop等操作进一步减少网络参数量,提高网络运行速率;通过在倒...     

融合检测技术的孪生网络跟踪算法综述

近年来,基于孪生网络的方法在视觉目标跟踪中取得了巨大的进步,但是这类方法在处理跟踪中的目标状态估计以及复杂场景干扰中仍存在较大的提升空间。随着深度学习在目标检测领域取得的成功,越来越多的研究将其成果用于指导目标跟踪技术的发展。对融合检测技术的孪生目标跟踪算法进行了综述。首先介绍检测和跟踪的联系与区别,同时分析检测技术对改进基于孪生网络的跟踪算法的可行性;然后阐述在不同检测框架指导下的孪生目标跟踪算法,以及使用OTB100、VOT2018、GOT-10k和LaSOT公开数据集对各类算法进行对比和分析;最后对全文进行总结,并对目标跟踪的未来发展方向进行展望。     

基于特征融合的RGBT双模态孪生跟踪网络

热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal, RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性。提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构。该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力。该网络可以利用训练数据进行端到端的离线训练。公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪。     

基于孪生网络的目标跟踪算法

在计算机视觉应用中,基于孪生网络的跟踪算法相比于传统的目标跟踪算法在速度和精度上都有所提升,但是其受到遮挡、形变等干扰因素影响较大。基于此,本文对现有基于孪生网络的目标跟踪方法和技术所作的改进进行了总结分析,主要包括在孪生网络中引入全卷积孪生神经网络方法、引入回归方法和在线更新方法,对基于3种方法的目标跟踪算法的改进进行了综述,并详细介绍了近年来孪生网络在目标跟踪应用中的国内外研究进展和发展现状。同时,采用VOT2017和LaSOT数据集进行了实验对比,比较了多种基于孪生神经网络跟踪算法的性能。最后,对基于孪生网络的目标跟踪方法的发展趋势进行了展望。     

基于信息融合的目标图像跟踪

本文通过将图像相关算法和卡尔曼滤波器之间的信息进行融合，得到一种新的目标图像跟踪算法，并对该算法的估值性能进行了深入分析，理论计算和仿真结果表明，该算法较常规相关算法具有更好的鲁棒性和跟踪性能。     

基于多注意力图的孪生网络视觉目标跟踪

在视觉跟踪应用中,目标外观通常由包含目标的矩形区域来建模,这种矩形化边框的描述方式不可避免地引入了背景干扰,并随着场景变化导致跟踪关注点的模糊及歧义,进而产生跟踪漂移。针对以上问题,提出了一种基于多注意力图的孪生网络视觉目标跟踪算法。首先,建立了一种关注于前景目标区域特征表达的孪生网络。该网络通过构建梯度注意力图损失函数项来引导网络训练,提升网络区分目标和干扰背景的能力。此外,嵌入通道注意力和空间注意力进一步强化目标的特征表达,自动发掘有区分的特征表示。在多个公共数据集上的实验验证了提出算法的有效性,以及算法可完成实时的视觉目标跟踪。      

基于多尺度细节的孪生卷积神经网络图像融合算法

图像融合将来自不同捕获条件或不同传感器的互补图像进行融合以提高图像的视觉质量.针对这一任务,本文提出一种改进的滚动引导滤波与神经网络相结合的多尺度融合算法.首先,使用孪生卷积神经网络学习图像特征,并以此获得包含源图像显著特征的权值映射图.随后,使用改进的滚动引导滤波对图像进行多尺度分解,结合信息熵使滚动引导滤波权重参数...     

基于增强RPN的孪生网络目标跟踪算法

目前孪生网络跟踪器已经具有比较良好的表现,但是对于卷积神经网络所提取的特征仍没有较好地利用其特点,同时孪生网络通过相似性学习进行跟踪的特性使跟踪器的准确性和鲁棒性存在不足。提出了一种金字塔式特征融合的方法,根据骨干网络特征提取层不同深度具有不同侧重的特点提高网络对目标的表征能力,然后使用注意力机制对区域推荐网络（Region Proposal Network,RPN）进行增强,最终实现更精准更鲁棒的跟踪。在OTB100数据集的实验中,新提出的SiamERPN(Siamese Enhanced RPN)算法分别得到了0.668的成功率和0.876的精度,测试结果好于基线算法和其他对比算法。     

基于低秩分解和卷积稀疏编码的多源图像融合

针对卷积稀疏编码能够较好地保留图像信息特征的这一特点,提出基于低秩分解和卷积稀疏编码的多源图像融合方法.为了避免图像分块处理对图像结构的影响,将每幅待融合图像进行全局处理.首先,通过低秩分解将图像分解成低秩和稀疏两部分;接着,对稀疏部分进行卷积分解,可以训练得到一组稀疏滤波器字典,再将卷积稀疏编码应用到图像的融合中;然...     

基于模型互更新的多模图像融合跟踪算法

针对复杂环境下引起的目标失跟问题,提出了一种基于模型互更新的可见光与红外图像融合跟踪算法。基于把视觉跟踪问题视为“中心-周围”分类的思想,首先从可见光与红外图像中分别提取目标及周围像素点的特征,然后采用Boosting算法训练得到跟踪模型。基于分类结果计算像素点的置信度,采用决策级融合方法得到似然图像,通过均值漂移算法估计目标位置。最后在Co-Training框架下结合目标跟踪结果进行模型的互更新。实验结果表明,该算法提高了跟踪的鲁棒性,有效利用了多模图像的信息。     

多源图像彩色融合效果评价研究

通过采用简单、基于增强处理和HSV变换、基于人眼视觉特性及YIQ变换的彩色融合得到4幅图像,分别对其进行主观和客观评价.主观评价实验对同一场景的可见光、中波红外和长波红外图像进行了不同的算法处理,将获取结果用于直方图统计对比分析.客观评价采用基于YIQ变换及加权平均的方法进行图像比较,并直接用对比度R、粗糙度G和熵B比较融合结果,提出应采用主、客观结合的评价方法.     

基于激光雷达与红外数据融合的跟踪算法

针对精确制导中目标的自动识别、稳定跟踪与抗干扰需求,提出了一种基于激光雷达与红外数据融合的目标识别与抗干扰方法.首先采用一致性点漂移(CPD)算法对目标在不同图像中的轮廓特性进行匹配,完成了激光与红外图像的配准;然后利用红外图像中目标的能量和形状信息、激光图像中的距离信息完成激光与红外图像的决策级融合;最后利用改进的核相关跟踪算法完成目标的跟踪与抗干扰.通过激光雷达与红外仿真数据的实验,验证了文中方法在目标跟踪与抗干扰性能上的有效性.     

基于证据理论的多源信息融合模型

随着作战装备多元化以及信息化技术的不断发展,多源信息融合的重要性日益突出,成为提升信息化装备战斗能力的决定性因素.证据理论因其在不确定性表示、量度和组合方面的优势而得到广泛应用,是实现多源信息融合的有效途径.然而在实际作战中,对目标的融合识别是一个过程,现有的融合识别算法大多忽略了应用中的过程性.从实际应用角度出发提出一种基于时域信息积累的多源信息融合模型,理论分析和实验仿真验证了该模型的合理性、正确性和有效性.     

多媒体传感器网络中基于颜色空间的图像融合方案

 基于彩色图像的YUV颜色空间和相邻节点间的视角相关性,将同一场景的监控任务分配给3个相关度较大的传感器节点,每个节点仅需处理亮度分量或色度分量.使用深度信息模型,以及基于自适应四叉树分割和分块空间变换的方法,对解码后的亮度和色度分量进行融合,实现监控场景的彩色图像重构.仿真实验结果表明,该方法有效可行,在视频传感器节点存储量、传输量和场景监控质量之间能取得良好的折中.     

一种基于深度学习的多源异构数据融合方法

在大数据背景下,结合深度学习,讨论了多源异构影像数据融合问题,在数据融合的基本架构基础上,构思了一种泛化性强的多源异构影像数据融合的深度学习模型,将深度学习技术运用到多源异构数据信息提取与挖掘。     

一种基于高速双DSP的柔性机载实时图像跟踪系统研究

以两片高性能TMS320C6414作为核心处理器,辅助以FPGA实现整个系统逻辑时序的控制,组成基于双DSP的柔性机载实时图像处理系统.该系统可以满足实时图像跟踪高速信号处理的实际需求.本文对系统的硬件资源选择,工作流程进行了详细讨论,并结合相关算法对系统实时性进行仿真测试,结果表明本系统是可行和高效的.     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

基于融合的红外图像增强方法

由于成像过程中受外界环境影响以及成像系统自身固有特性,红外图像不可避免地会产生大量噪声,使成像系统直接获得的红外图像具有对比度低、信噪比低、边缘模糊等特点。因此,想要对红外图像目标进行很好的识别,必须对红外图像进行增强处理。提出了一种新的红外图像增强方法。该方法首先用中值滤波和均值滤波结合的方法对图像进行滤波,再用改进的OTSU法分割图像,接下来对分割后的前景和背景图像分别使用平台直方图均衡处理,并在这种分割基础上确定需要锐化的图像边缘,最后将处理后的前景和背景相加,并和需强化的边缘图像加权融合得出增强图像。仿真结果表明,所提方法对红外图像细节等综合因素的增强效果较好,并有效可行。