三分支多层次Transformer特征交互的RGB-D显著性目标检测

RGB-D显著性目标检测是计算机视觉领域的研究任务之一,很多模型在简单场景下取得了较好的检测效果,却无法有效地处理多目标、深度图质量低下以及显著性目标色彩与背景相似等复杂场景。因此,本文提出一种三分支多层次Transformer特征交互的RGB-D显著性目标检测模型。首先,本文采用坐标注意力模块抑制RGB和深度图的噪声信息,提取出更为显著的特征用于后续解码。其次,通过特征融合模块将高层的三层特征图调整到相同的分辨率送入Transformer层,有效获取远距离显著性目标之间的关联关系和整幅图像的全局信息。然后,本文提出一个多层次特征交互模块,该模块通过有效地利用高层特征和低层特征对显著性目标的位置和边界进行细化。最后,本文设计一个密集扩张特征细化模块,利用密集扩张卷积获取丰富的多尺度特征,有效地应对显著性目标数量和尺寸变化。通过在5个公开的基准数据集与19种主流模型相比,实验结果表明:本文方法在多个测评指标上有较好的提升效果,提高了在特定复杂场景下的检测精度,从P-R曲线、F-measure曲线和显著图也可以直观看出本文方法实现了较好的检测结果,生成的显著图更完整、更清晰,相比其他模型更加接近真值图。     

基于行为一致性的密集场景人群分群检测算法

针对公共场所无序运动人群密集场景,提出了一种无监督的自动人群分群检测算法。在由高斯混合模型背景去除法得到的前景区域提取KLT特征点,通过分析特征点的运动特性,对邻域特征点采用速度方向过滤算子和运动相关性过滤算子进行逐级过滤;对非邻域特征点采用运动轨迹相似性过滤算子进行过滤,遍历所有特征点,以实现人群的分群检测。该算法不需要对单个行人进行分割及样本训练,也不需要任何先验信息,且在邻域特征点划分过程中,邻域的特征点数能根据相邻距离特征点的最短距离进行自动调节。采用具有不同运动模式的密集场景视频对所提出的算法进行了试验,结果验证了算法的有效性、可靠性和优越性。     

基于改进SSD模型和自适应滤波算法的水面漂浮物目标检测跟踪方法

水面漂浮物严重破坏河道景观和水生态环境,通过摄像头实施河湖可视化监管以改善河湖面貌,已成为积极落实“河湖长制”政策的重要技术手段。但由于河流环境复杂多样,存在水波扰动、动态光影和强光反射等诸多噪声问题,现有方法难以满足水面漂浮物实际管理需求。本文结合单帧检测与多帧滤波,提出了一种基于深度学习的水面漂浮物目标智能检测跟踪方法。在单帧检测中,删除5*5及以下低分辨率特征图,通过特征求和方式增强76*76高分辨率特征图以提升SSD检测算法在小尺度漂浮物目标的检测精度;在多帧滤波中,基于时空相关性和运动信息构建自适应滤波AF算法框架,计算视频帧中帧与帧之间的关联性,根据漂浮物目标的空间位置的变化幅度自适应删除偏离运动轨迹的漂浮物目标检测结果,以降低漂浮物跟踪漂移;在信息融合阶段,通过特征对比融合检测和滤波信息,实现检测信息和跟踪信息动态互补,并以不同检测跟踪场景数据集进行训练与验证。结果表明：在简单水面场景下中心位置误差为8个像素点时该方法的检测跟踪精度达到100%,成功率面积为0.94,平均速度达到17.27FPS,计算复杂度为7.18Billion;在复杂水面场景下中心位置误差为10个像素点时该方法的跟踪精度和成功率面积分别为93.24%和0.81,平均速度和计算复杂度分别为15.02FPS和8.76Billion,在复杂环境下兼顾了检测跟踪精度和效率。     

基于多层自适应聚类模型的密集人群分群检测算法

针对存在更复杂运动模式的无序运动人群密集场景,提出了一种基于多层自适应聚类模型的分群检测算法.以基于高斯混合模型的背景去除算法和自适应初始化聚类算法为核心,通过建立多层自适应聚类模型实现密集人群的分群检测.实验数据库选用了大量真实室内外密集人群运动场景视频,并通过大量对比实验验证了算法的有效性、可靠性和优越性.     

一种基于脉线流卷积神经网络的人群异常行为检测算法

在计算机视觉领域，人群异常行为检测技术可以广泛应用于视频监控、智能视频分析、群体行为识别等领域，因此，受到了学者们的广泛关注。由于视频中人群目标具有尺度变化大、透视形变、标注偏置等特点，人群异常行为检测依然是一个具有挑战性的难题。为此，本文提出了一种基于脉线流和卷积神经网络的人群异常行为检测方法(Streak Flow CNN Abnormal Behavior Detection，简称SFCNN-ABD)。SFCNN-ABD通过卷积神经网络获取显著的人群行为空域特征，并通过脉线流结合卷积神经网络获取人群行为时域特征。SFCNN-ABD是一个双流网络，网络结构由两个深度残差网络作为骨干网络，分别为空域网络和时域网络。其中，空间域网络的输入是原始视频帧，提取人群行为的表观特征，而时域网络利用脉线流提取人群行为的运动特征，脉线流能更准确地识别场景中的空域和时域变化，因而能进一步提升人群异常行为检测的准确性。最后将两个网络的输出进行融合，完成人群异常行为的检测。在UMN和VIF两个公开基准数据集进行了测试，实验结果表明本文方法的性能优于当前主流算法，验证了本文方法的有效性。     

基于姿态表示的航空影像旋转目标检测网络

由于航空影像复杂多变的视角, 目标呈现出拥挤、聚集及旋转等特点, 传统目标检测中的水平边框难以契合地表示目标的几何轮廓及位置信息。本文提出了单阶段基于姿态表示的旋转目标检测网络。该网络将不同旋转角目标表示成不同姿态, 通过检测目标的中心位置及回归4个顶点相对坐标来实现旋转目标的检测。同时使用了自适应特征金字塔网络, 利用可学习权重自动从多尺度特征中选择更具判别性的特征。针对航空影像高分辨率的特点, 提出选择性采样策略以提高网络训练效率和缓解网络正负样本不平衡问题。本方法在DOTA遥感数据集旋转目标检测任务上的平均精度(mean Average Precision, mAP)达到74.9%, 超过了现有单阶段甚至部分双阶段的方法。定性与定量的对比实验表明, 基于姿态表示的旋转目标检测网络具有设计简单、检测性能更高的优势。     

拥挤场景中对多个人的检测和跟踪技术研究

不同于单个目标的检测, 拥挤场景中多个目标的检测和跟踪有其复杂性和特殊性.基于拥挤场景中多个人的检测和跟踪技术最新的研究成果, 对检测和跟踪的系统框架、主要方法、实验数据集、性能度量等进行了综述, 指出了拥挤场景中人的检测和跟踪技术存在的主要困难和关键问题, 以及今后的研究方向.     

一种基于ResNet网络特征的视觉目标跟踪算法

针对复杂场景下目标容易丢失的问题,提出了一种基于深度残差网络（ResNet）特征的尺度自适应视觉目标跟踪算法.首先,通过ResNet提取图像感兴趣区域的多层深度特征,考虑到修正线性单元（ReLU）激活函数对目标特征的抑制作用,在ReLU函数之前选取用于提取目标特征的卷积层;然后,在提取的多层特征上分别构建基于核相关滤波的位置滤波器,并对得到的多个响应图进行加权融合,选取响应值最大的点即为目标中心位置.目标位置确定后,对目标进行多个尺度采样,分别提取不同尺度图像的方向梯度直方图（fHOG）特征,在此基础上构建尺度相关滤波器,从而实现对目标尺度的准确估计.在视频集OTB100中与其他6种相关算法进行了比较,实验结果表明,所提算法取得了较高的跟踪成功率和精确度,能够较好地适应目标的尺度变化、背景干扰等复杂场景.     

自适应Kalman滤波的运动物体跟踪算法研究

针对实时视频中的运动物体跟踪问题,提出了一种基于自适应Kalman滤波的运动物体跟踪新算法。首先利用基于∑-△背景估计算法检测运动物体,并提取主要颜色特征。然后构建物体运动模型,并生成自适应Kalman滤波的系统状态模型。最后利用主要颜色特征进行物体跟踪,其结果反馈给自适应Kalman滤波器,并通过遮挡率自动调整参数达到正确跟踪。实验结果表明,所提出的自适应Kalman滤波算法在运动物体被遮挡等复杂条件下的鲁棒性好,还具有跟踪准确性高和数据计算量小等优点,可用于实时运动物体的检测与跟踪。     

基于数据驱动高阶学习律的轮式移动机器人轨迹跟踪控制

轮式机器人执行巡逻、播种和工业生产等任务是一个强非线性的间歇过程.针对重复运行的轮式机器人轨迹跟踪问题,本文提出了一种基于数据驱动的高阶迭代学习控制算法.首先,对轮式移动机器人的模型进行推导设计,并对推导得到的状态空间形式的离散时间模型利用基于状态转移的迭代动态线性化方法,将轮式机器人系统转化为线性输入输出数据模型;其...     

融合运动信息和跟踪评价的高效卷积算子

针对基于方向梯度直方图与颜色命名的高效卷积算子(ECO-HC)算法缺少跟踪质量评价和滤波模板更新监督机制的问题,提出融合运动信息和跟踪评价的高效卷积算子. 将卡尔曼滤波器加入ECO-HC跟踪定位框架对目标执行联合跟踪,设计高置信度判别指标评价ECO-HC对每帧图像的跟踪效果,使用原始跟踪结果和卡尔曼滤波预测值的加权融合值,修正不满足判别指标的跟踪结果. 在滤波模板隔帧更新策略的基础上,加入当前帧跟踪结果质量评价信息,当2个条件同时满足时执行模板更新. 依托公开数据集OTB-2015评估算法性能,结果显示改进算法整体跟踪精确度、成功率和跟踪速率均优于原算法,在运动模糊、低分辨率、离开视野场景中的精确度分别提高3.0%、3.5%和2.8%,成功率分别提高3.8%、2.1%和4.0%. 改进算法在保证实时性的同时,有效提升了复杂场景下的跟踪效果.     

Robust multiple face tracking via mixture model

Based on particle filter framework,a robust tracker is proposed for tracking multiple faces of people moving in a scene.Although most existing algorithms are able to track human face well in controlled environments,they usually fail when human face appearance changes significantly or it is sheltered.To solve this problem,we propose a method using color,contour and texture information of human face together for tracking.Firstly,we use the color and contour model to track human faces in initial images and extract pixels belonging to human face color.Then these pixels are used to form a training set for setting up texture model on eigenspace representations.The two models then work together in following tracking.To reflect changes in human face appearance,update methods are also proposed for the two models including an adaptive-factor by which the texture model can be updated much more effectively when the human face’s texture or rotation changes dramatically.Experiment results show that the proposed method is able to track human faces well under large appearance rotation changes,as well as in case of total occlusion by similar color objects.     

基于视频流的目标检测反馈模型

为了增强智能视觉监控系统的实时性,提出了一种反馈模型。首先采用基于混合高斯模型的减背景算法进行运动目标检测;然后采用Kalman滤波算法进行运动目标跟踪;进而提出了一种反馈模型,将跟踪阶段Kalman滤波的状态预测值反馈到检测阶段的减背景操作中来约束目标检测的有效范围。最后将本文方法(采用反馈模型)与一般方法(未采用反馈模型)进行了对比实验,结果表明,本文方法具有良好的目标检测与跟踪效果,在不影响准确性的前提下,显著降低了运算量,增强了系统的实时性,对于智能视觉监控系统的现实应用具有重要意义。     

基于复杂背景的二维条码提取技术

为了从含有大量物体的复杂背景图像中提取出二维条码,给出一种基于图像连通区域特征、角点特征和边缘特征的提取方法,即将灰度图像二值化后进行形态学处理,排除复杂背景中大量无关因素,对筛选出的子区域进行角点检测准确定位出二维条码的位置。通过采集大量不同光照、不同物体为背景的图像对新方法进行检测,提取结果均获成功。     

Avian contrast sensitivity inspired contour detector for unmanned aerial vehicle landing

Runway detection is a demanding task for autonomous landing of unmanned aerial vehicles. Inspired by the attenuation effect and surround suppression mechanism, a novel biologically computational method based on the avian contrast sensitivity is proposed for runway contour detection. For the noisy stimuli, deniosed responses of the biologically inspired Gabor energy operator are generalized followed by the denoising layer and the multiresolution fusion layer. Moreover, two factors such as contour effect and texture suppression are considered in the contrast sensitivity based surround inhibition. Different from traditional detectors, which do not distinguish between contours and texture edges, the proposed method can respond strongly to contours and suppress the texture information. Applying the contrast sensitivity inspired detector to noisy runway scenes yields effective contours, while the non-meaningful texture elements are removed dramatically at the same time. Besides the superior performance over traditional detectors, the proposed method is capable to provide insight into the attenuation effect of the avian contrast sensitivity function and has potential applications in computer vision and pattern recognition.     

基于级联卷积神经网络的视频动态烟雾检测

复杂场景中烟雾特性的提取是目前视频烟雾检测领域的主要挑战。针对该问题,提出一种静态和动态特征结合的卷积神经网络视频烟雾检测框架。在静态单帧图像特征检测的基础上,进一步分析其时空域上的动态纹理信息以期克服复杂的环境干扰。实验结果显示,该级联卷积神经网络模型可有效应用于复杂视频场景中烟雾事件的实时检测。     

一种基于相似运动模式的群体分割方法

由于内部复杂性、多样性等因素存在,复杂场景下基于相似运动模式的群体分割一直是计算机视觉领域中的难点问题。为了提高群体分割结果的准确性,本文将高精度变分光流模型与基于拉格朗日流体动力学的脉线模型相结合,提出了一种高精度的群体分割算法。该算法首先采用各向异性扩散模型对原始视频帧进行平滑,保证了去噪图像的重要结构信息;接着将高精度的变分光流模型与脉线模型结合,得到抗干扰能力较强、精度较高的脉线（streakline）和脉线流;然后根据脉线和脉线流的相似性采用分水岭算法对群体进行分割;最后通过对多组视频序列进行试验对比分析,验证了该方法的有效性和准确性。     

监控系统中的多摄像头协同算法

提出了一种监控系统中的多摄像头协同算法(PDA).该算法引入了依赖目标可见性的权函数、任务优先级、目标与摄像头之间的距离,根据这些参数来选择最合适的摄像头,将其分配给距离摄像头最近、且有最高优先级的目标.为了可靠地跟踪目标,使用了多摄像头协同系统中的数据融合方法.在分布式监控系统中验证了PDA和数据融合方法.实验结果表明,提出的PDA算法能协同多摄像头可靠地跟踪人.     

多类场景下无人机航拍视频烟雾检测算法

在无人机航拍视频烟雾检测领域中,由于不同检测场景差异大,导致现有烟雾检测算法经常出现检测精度低、速度慢等问题。为了解决以上问题,建立了一个基于无人机视角的多类场景下的烟雾数据集（UAV smoke dataset,USD）,并提出了一种改进YOLOx的多类场景下无人机视频烟雾检测算法。首先,在YOLOx网络模型中引入改进的注意力机制,分别改进通道特征和空间特征的提取过程,提取更加具有表征能力的烟雾特征;然后,提出一种双向特征融合模块,增强多尺度特征融合模块对小目标烟雾特征的融合能力;最后,引入Focal-EIOU损失函数,解决训练过程中出现正负样本不平衡,以及预测框和真实框不相交时无法反映两个框的距离远近和重合度大小等问题。实验结果表明,所提算法在应用于多类场景下无人机视频烟雾检测任务时具有较好的鲁棒性,对比多个经典烟雾检测算法,本文算法在不同数据集上的烟雾检测准确率均有不同的提升,比如对比原有的YOLOx-s模型,准确率提升2.7%,召回率提升3%,速度达到73.6帧/s。     

一种无人机航拍目标的长期跟踪算法

针对无人机在航拍目标跟踪的复杂场景过程中,运动目标可能会被遮挡或不确定跟踪,导致视觉模型出现逐渐损坏、漂移和不可逆转失败等问题,提出了一种无人机航拍目标的长期跟踪算法.首先,进行互补分类器多特征自适应融合设计,在贝叶斯分类器中采用颜色直方图特征,在相关滤波器中采用方向梯度直方图、灰度以及颜色名特征;结合多种特征的优点,...