基于视觉的移动机器人目标跟踪方法

为实现对行人目标进行快速稳定地跟踪并简化机器人系统,提出一种快速判别尺度空间相关滤波目标跟踪算法(fDSST)与卡尔曼滤波结合的跟踪方法,解决了跟踪过程中因遮挡造成的目标坐标信息丢失问题。根据相关滤波响应图的震荡剧烈程度设置遮挡判断标准,利用遮挡判断标准实现fDSST跟踪算法与卡尔曼滤波算法的切换,持续输出目标的位置坐标信息,提升了算法的鲁棒性。移动机器人根据视觉跟踪算法提供的图像坐标,利用基于图像的伺服控制策略完成对目标的跟随任务,简化了移动机器人系统结构。最后将该方法在OTB2013测试集上和移动机器人中进行实验,实验结果表明,该方法对于目标遮挡及尺度变化具有较强的鲁棒性和准确性,同时满足实时性要求。     

应用Mean Shift和分块的抗遮挡跟踪

针对传统Mean Shift跟踪算法在目标发生遮挡时容易跟偏甚至跟丢的缺陷,提出了一种新的抗遮挡跟踪算法。首先,对跟踪窗口内的目标进行分块;然后,对外围子块分别实施Mean Shift跟踪算法并检测遮挡的发生,当遮挡发生后即对所有子块实施Mean Shift跟踪算法;最后,引入一种子块置信度机制并仅用置信度最高的子块来确定目标的最终位置,从而在目标发生遮挡时能有效剔除被遮挡子块对目标定位的影响。对不同的视频序列测试的结果显示,本算法能对发生遮挡的目标进行准确跟踪。当遮挡目标尺寸为70pixel×100pixel时,平均处理时间为38.6ms/frame。结果表明,改进算法能够满足目标跟踪系统稳定性和实时性的要求。     

密集遮挡条件下的步态识别

步态识别算法主要依赖行人目标的时序轮廓进行特征提取和判别。在实际应用中行人具有结伴行走的特点，轮廓提取易受到其他行人的遮挡和干扰，大幅降低了步态识别算法的精度。为提高人员密集遮挡严重的场景下步态识别算法的鲁棒性，提出一种基于无序序列的深度步态识别算法。首先在Casia-B数据集的基础上进行仿真，建立遮挡情况下的目标轮廓仿真数据集，用于对算法进行遮挡鲁棒性验证；其次，提出基于随机二值膨胀的数据增广方法，同时通过理论和实验论证了HPP(Horizontal Pyramid Pooling)结构在步态识别问题中的局限性，提出退化水平金字塔结构DHPP，利用DHPP结构、CoordConv方法和联合训练裁剪方法的配合，在深度特征中增强绝对位置信息的感知能力，提升算法遮挡鲁棒性的同时减少目标特征表达维度。实验结果表明，所提方法对于步态识别的鲁棒性提升效果明显。     

引入再检测机制的孪生神经网络目标跟踪

针对全卷积孪生神经网络SiamFC在目标快速运动、相似干扰较多等复杂场景下跟踪能力不足的问题,本文引入SINT作为再检测网络对SiamFC进行了改进。本文算法在跟踪响应图出现较多波峰时,启用精确度更高的再检测网络对波峰位置进行重新判定。同时,本文采用了生成式模型构建模板来适应目标的各种变化,以及高置信度的模型更新策略来防止每帧更新可能对模板带来的污染。在OTB2013上对算法性能进行了测试,并选取了9个主流的目标跟踪算法进行对比,本文算法的跟踪精确度达到了88.8%,排名第一,成功率达到了63.2%,排名第二,相比SiamFC有很大地提升。对不同视频序列的分析结果表明,本文算法在目标快速运动、严重遮挡、背景杂波、光照变化和长期跟踪等场景下具有较强的准确性和鲁棒性。     

基于双目标模型的时空上下文跟踪算法

传统的时空上下文跟踪算法在更新目标模型时不考虑跟踪结果的有效性,故目标被长时间遮挡后,目标模型容易被错误更新且难以修正。因此,本文提出了一种基于双目标模型的改进时空上下文跟踪算法以解决错误更新问题。该算法引入一个辅助目标判别模型来评估时空上下文算法跟踪结果的有效性,并根据评估结果对目标模型进行更新。辅助模型使用目标的局部纹理信息而不是相关性信息作为特征,在目标被长时间遮挡后也能准确评估更新内容的有效性,并能在遮挡结束后修正错误更新的目标模型。在多组数据集上的实验表明,改进算法在测试数据集上的跟踪成功率为82%,中心偏差为8pixels;在长时间遮挡等干扰情况下的跟踪精度比原时空上下文算法有明显提升,实现了目标的可靠跟踪。     

自适应模板更新和目标重定位的相关滤波器跟踪

针对核相关滤波器在跟踪中因目标快速运动导致的目标易丢失和部分遮挡问题,本文在多特征尺度自适应核相关滤波器(Scale Adaptive with Multiple Features tracker,SAMF)基础上,提出一种融合自适应模板更新和预测目标位置重定位的核相关跟踪算法。采用联合目标移动速度和特征变化的模板更新机制增大对目标快速运动适应性,根据长时滤波器和短时滤波器协作跟踪提出目标位置修正和重定位模型提升跟踪器应对目标部分遮挡的能力。在OTB-2015视频序列集100组序列中与序列集提供的算法进行对比,本算法跟踪精度相比SAMF提升2%。在目标发生快速移动时本文算法具有更好的追踪目标能力,目标重定位也很好地解决了目标部分遮挡问题。     

基于Mean Shift和灰色预测的快速运动行人跟踪

针对MeanShift跟踪算法在跟踪快速运动的行人时往往不能持续跟踪的不足,提出了一种基于GM（1,1）灰色预测的MeanShift运动行人跟踪算法。依据行人衣装颜色分布建立了目标模板,利用GM（1,1）模型预测行人可能出现的位置并作为搜索目标的起始点,在该点邻域内利用MeanShift迭代求取行人的实际位置。实验结果表明,本算法对于快速运动行人和被遮挡行人均能给出较为良好的跟踪效果,并减少了MeanShift的迭代次数。     

采用长距离依赖和多尺度表达的轻量化车辆检测

基于深度学习的车辆检测在众多领域发挥着至关重要的作用,是近年来计算机视觉的一个重要发展方向。车辆轻量化检测包含了对网络结构和计算效率的探索,并在智慧交通等诸多领域都得以广泛应用。然而在诸多场景下存在相机中车辆目标尺度变化大、车辆相互遮挡等问题,这些情况会影响到网络检测车辆的精度。针对上述问题,提出改进Yolov5s的车辆检测方法。首先通过视觉注意力网络捕获长距离依赖,对原有特征图施加新的权重,增强自适应性,提升网络的抗遮挡能力;接着在残差模块内部再次构造水平方向残差,在一个模块内部构建相同数量、不同大小感受野的特征图,丰富网络的多尺度表达能力。实验结果表明：改进后的网络在Pascal VOC车辆数据集上提供2.1%mAP性能提升,在MS COCO车辆数据集上提供1.7%mAP性能提升。改进后网络的多尺度表达能力更加出色,且抗遮挡能力更强,与原始网络相比检测结果更具有竞争力。     

基于特征融合的改进型PointPillar点云目标检测

针对PointPillar在自动驾驶道路场景下对点云稀疏小目标检测效果差的问题,通过引入一种多尺度特征融合策略和注意力机制,提出一种点云目标检测网络Pillar-FFNet。针对网络中的特征提取问题,设计了一种基于残差结构的主干网络;针对馈入检测头的特征图没有充分利用高层特征的语义信息和低层特征的空间信息的问题,设计了一种简单有效的多尺度特征融合策略;针对主干网络提取的特征图中信息冗余的问题,提出了一种卷积注意力机制。为验证所提算法的性能,在KITTI和DAIR-V2X-I数据集上进行实验。实验结果表明,所提出的算法在KITTI数据集上与PointPillar相比,汽车、行人和骑行者的平均精度最大提高分别为0.84%,2.13%和4.02%;在DAIR-V2X-I数据集上与PointPillar相比,汽车、行人和骑行者的平均精度最大提高分别为0.33%,2.09%和4.71%,由此证明了所提方法对点云稀疏小目标检测的有效性。     

基于稀疏正则约束的子空间视觉跟踪

针对子空间表示跟踪算法处理遮挡问题的能力不足,以及稀疏表示跟踪算法无法满足跟踪实时性要求等问题,本文提出一种稀疏正则约束的子空间视觉跟踪算法。该算法结合了子空间表示与稀疏表示的优势,提升了对于遮挡问题的处理能力,并且降低了算法的计算复杂度。首先,该算法利用PCA子空间基向量集、子空间均值以及表示残差对目标进行表示,同时算法采用L2范数作为表示系数以及表示残差的稀疏约束函数。其次,算法采用了一种分步循环迭代的方法求解表示模型的系数与残差。然后,为了保证子空间基向量与空间均值能够持续准确的描述目标在跟踪过程中出现的变化,算法根据经过开运算处理后的表示残差中非零元素的不同比率构建不同的更新模板,并结合增量主成分分析方法在线学习新的基向量与均值。最后,在实验部分,本文将提出算法在10个实验序列上的跟踪结果与8个现今主流跟踪算法进行对比,同时从定性与定量两个方面对实验结果进行分析。本文算法在全部10个实验序列上的平均中心误差为5.3pixel,平均覆盖率为77%,相比于其他算法,本文算法取得了较高的跟踪精度。本文算法具有更好的鲁棒性,并且满足更多场景下的跟踪需求。     

血管介入手术导丝末端检测方法研究

介入手术导丝的末端检测是保证手术精准控制和安全性的关键，本文针对术中导丝末端检测的临床需求，提出一种基于改进YOLOv4Tiny网络的导丝末端检测方法。该方法基于YOLOv4Tiny网络架构，通过优化特征提取网络中的残差结构，增加注意力机制和混合膨胀卷积网络，实现算法对小目标特征提取能力和检测精度的提升、感受野的扩大，且在保证图像的分辨率的同时不增加计算量。为了验证本文改进算法的有效性，对算法在构建数据集和实际手术数据集中分别进行了测试。实验结果表明：本文改进算法在构建数据集中的平均精度可达97.6%,导丝末端的检测误差不足5%,在实际手术数据集中的平均精度为92.8%。本文改进算法为介入手术导丝的末端检测提供了有效方法，在生物医学机器人等领域具有广阔的应用前景。     

基于关键帧定位和时空图卷积的异常行为识别

为提高监控视频中行人异常行为检测效率,提出了结合关键帧定位和时空图卷积的异常行为识别方法。该方法在人体骨架关键点检测的基础上,采用关键点运动特性定位视频中行人异常行为关键序列,利用时空图卷积网络可以提取行人时空特征的优点,在关键帧序列上构建人体骨架时空图,同时建立基于瓶颈残差模块的时空图卷积网络行为识别模型,实现对监控视频中行人异常行为的高效识别。采用自建数据集和公开数据集对该方法有效性进行检验,结果表明,该键帧定位算法可高效实现异常行为定位,结合基于瓶颈残差模块时空图卷积网络,在减少时空图卷积网络计算复杂度的同时提升了网络性能,能够有效判断行人异常行为。     

基于残差块网络的图像去雨算法

为了从有雨图像中恢复图像质量,提出了一种基于残差块网络的海面图像去雨算法。该算法将两种类型的残差块网络相结合,用于提取有雨图像的深层次信息。在训练过程中,学习有雨图像与原图之间的残差,使算法操作的图像目标值域缩小,稀疏性增强。在训练数据集方面,我们采用室外雨天图像数据集和两种加雨算法进行模拟的海面雨天图像数据集,以此扩充训练样本。测试集图像我们选择3种不同类型的雨天场景图像,雨水的类型包括雨线和雨滴。实验结果表明了本文的去雨算法能够适用于不同的雨天场景,去雨处理后图像信噪比评价指标均在35以上,结构相似度均在0.97以上,总体上提升了图像的清晰度。     

基于深度学习的航天密封圈表面缺陷检测

针对航天密封圈表面缺陷人工检测效率低、传统图像处理检测算法通用性差的问题,提出了两种基于深度学习的密封圈表面缺陷检测算法。首先,针对缺陷大部分为小目标的特点,选取对小目标较敏感的RetinaNet网络作为检测算法的基本架构,通过在RetinaNet网络中引入轻量级网络MoGaA构建出MoGaA-RetinaNet算法。然后,为了提高检测精度,在MoGaA-RetinaNet基础上,用分解卷积模块代替MoGaA骨干网络中的深度卷积构建了newMoGaA骨干网络,设计出newMoGaA-RetinaNet算法。最后,在测试集上的实验结果表明,MoGaA-RetinaNet算法比RetinaNet算法检测速度更快,但检测准确率略低;而newMoGaA-RetinaNet算法实现了检测精度与检测速度的良好平衡,比RetinaNet算法准确率提升4.5%,达到92%,检测速度提升55%,达到31 frame/s,网络参数量减少50%。所设计的newMoGaA-RetinaNet算法可以实现密封圈表面缺陷的快速准确检测。     

多分支无锚框网络密集行人检测算法

针对街道等多人流量场景图像中人员密集、姿态变化多、人体遮挡严重造成的行人检测漏检问题,提出一种多分支无锚框网络（MBAN）行人检测方法。首先,在检测模型主干网络后加入多分支网络结构用以检测行人的多个关键区域局部特征;然后,设计了关键区域之间的距离损失函数引导分支网络对行人的局部检测位置进行差异化学习,接下来为了提高分支网络对行人局部特征空间信息的理解能力,在Resnet50网络尾部加入四个上采样块构成沙漏结构（Hourglass）;最后,设计了一种局部特征选择网络自适应抑制多分支输出的非最优值,消除预测时的冗余特征框。实验结果表明MBAN方法对多人流量场景行人检测的mAP值、F1值、Prec和Recall分别达到85.22%,0.87,80.07%和94.39%,证明该方法对密集人群检测能力较强,与其他行人检测算法相比有较高的召回率。     

融入运动信息和模型自适应的相关滤波跟踪

为解决余弦窗的影响和复杂场景中的目标遮挡问题,提出了一种融入运动信息和模型自适应的相关滤波跟踪算法。采用HOG特征和颜色直方图特征互补结合的框架,引入卡尔曼滤波和上下文感知滤波器,可以解决余弦窗的影响;引入一种高置信度检测方法和一种新的模型自适应更新方法,可以解决目标遮挡的问题。将提出的算法在OTB-2015测试集与其他6种相关滤波类算法进行比较,实验结果表明,该算法精确度和成功率分别为0.821和0.615。相对于Staple-CA算法,精确度提升了1.3%,成功率提升了2.8%,同时,算法速度为54.34 帧/s,满足实际工程实时性要求。     

基于神经网络的车辅系统障碍物识别技术研究

针对因雾霾、夜间等视线不佳环境下难以识别行人、车辆、涵洞和隧道等各类障碍物的难题,提出了一种基于神经网络的车辅系统障碍物识别技术。第1步进行深度神经网络设计,首先应用了单步目标检测算法框架进行算法设计,然后通过多尺度预测解决热源体目标尺寸差异问题,最后进行目标位置回归估计。第2步进行覆盖目标的全部特征训练数据集制备。第3步进行网络训练和推理、模型迁移。第4步针对嵌入式的平台进行神经网络模型轻量化设计,解决量化误差并实现计算精度,实现驾驶人员在雾霾、夜间等环境下对路况障碍物准确识别并清晰显示告警。通过实际测试,该方法提升了在雾霾、夜间等环境下路况障碍物识别的准确性和实时性,保障了驾驶安全。     

基于改进亮度变化函数实现红外图像中行人跟踪

由于基于亮度变化函数(IVF)的跟踪算法能高效跟踪前视红外图像中刚性目标但无法满足行人跟踪鲁棒性要求,提出了一种新的基于多热点亮度变化函数的红外图像中行人跟踪算法。分析了分区域、多热点描述行人目标热信号的必要性,利用改进的亮度变化函数在帧间目标窗口内定位热点,建立目标窗口自适应更新机制解决尺度变化问题,最后基于热点的运动特征描述子剔除定位于背景的野值点。对复杂红外场景的跟踪实验结果表明,由于在原始算法的基础上省去了模板匹配步骤及缩小了搜索对象的矩阵维数,该算法获得了最优的实时性;且多热点机制使该算法的鲁棒性优于多种其他视觉跟踪算法,能够胜任存在遮挡、尺度变化、低对比度等干扰因素的前视红外图像中行人目标的跟踪。     

抖动干扰下运动目标精准检测与跟踪算法设计

针对在抖动干扰下运动目标检测精度较差的问题,提出了一种基于光流法与三帧差分法的运动目标检测算法,首先用基于卢卡斯-卡那得(LK)光流法的稳像算法对视频去抖,然后用三帧差分法提取目标。仿真结果表明,稳像后的峰值信噪比(PSNR)值提高了3.6 dB左右,所设计算法在抖动干扰下能够准确提取出目标,在测试平台上的平均处理速度为28fps;同时,针对传统核相关滤波(KCF)算法对尺度变化和部分遮挡目标跟踪性能较差的问题,设计了一种改进的KCF算法,通过对目标构造图像金字塔,计算滤波器在图像金字塔不同层上的响应,找到响应最大层并更新下一帧目标位置,同时加入了遮挡检测机制,减小目标遮挡对跟踪的影响。仿真结果表明,改进后的算法对尺度变化和部分遮挡的目标跟踪鲁棒性更优,可实现对目标的稳定跟踪,处理速度为33 fps。通过与KCF算法进行比较说明该算法的准确率提高了4.2%,成功率提高了11.8%。     

基于场景辅助特征的T-S目标跟踪

针对遮挡同时目标附近出现相似目标干扰所导致的错跟问题,本文提出利用场景中辅助特征提升目标跟踪抗遮挡以及抗相似目标干扰性能。首先检测场景强特征及目标附近相似干扰,定义二者为场景辅助特征;其次,建立能够较好描述场景强特征及目标运动规律的动态模型以及相似干扰约束;最后,将场景辅助特征及目标的动态模型以粒子滤波的形式表达,提出T-S跟踪算法。采用SPEVI及OTB100数据库中若干典型测试视频,与近年来6种先进跟踪算法进行对比实验,并采用两种评价体系考量。实验结果表明,本文T-S算法对SPEVI多人脸、红外车辆的跟踪误差分别为24 pixel和8 pixel;对OTB100数据库中8种视频跟踪测试时,在重叠率阈值为0.5时的跟踪成功率为0.51,优于其它对比算法。本文T-S跟踪算法能够较好应对遮挡及相似目标干扰。