基于深度学习的多视窗SSD目标检测方法

提出了一种基于深度学习的多视窗SSD （Single Shot multibox Detector）目标检测方法。首先阐述了经典SSD方法的模型与工作原理,并根据卷积感受野的概念和模型特征层与原始图像的映射关系,分析了各层级卷积感受野大小和特征层上默认框在原始图像上的映射区域尺寸,揭示了经典SSD方法在小目标检测上不足的原因。基于此,提出了一种多视窗SSD模型,阐述了其模型结构与工作原理,并通过106张小目标图像数据集测试,评估和对比了多视窗SSD方法与经典SSD方法在小目标检测上的物体检索能力与物体检测精度。结果表明:在置信度阈值为0.4的条件下,多视窗SSD方法的AF （Average F-measure）为0.729,mAP （mean Average Precision）为0.644,相比于经典SSD方法分别提高了0.169和0.131,验证了所提出算法的有效性。     

基于相关滤波的目标快速跟踪算法研究

在实现高精确度和快速的目标跟踪过程中,相关滤波是一个非常好的选择,但是目前所有的相关滤波跟踪方法仍然无法解决遮挡和光照变化等因素造成的干扰。因此,在传统核相关滤波器(KCF)的基础上,提出多特征图核相关滤波器(MKCF)的目标快速跟踪方法。首先,由初始化目标区域生成多个特征图,并通过对正则化最小二乘(RLS)分类器学习获得位置和尺度核相关滤波器(KCF);然后,随机选取一个特征图,寻找位置和尺度KCF输出响应的最大值,完成目标位置和尺度的检测;最后,随机选择需要在线更新的目标模型。经过试验测试,对比KCF,MKCF的平均中心位置误差(CLE)减少了5像素,平均成功率(SR)提高了10.9%,平均距离精度提高了6.7%;MKCF在目标发生尺度变化、光照变化、形态变化、目标遮挡、轻度旋转及快速运动等复杂情况下均有较强的适应性,具有重要的理论和应用研究价值。     

基于时空信息融合的无人艇水面目标检测跟踪

在无人艇(USV)的导航、避障等多种任务中,目标检测与跟踪都十分重要,但水面环境复杂,存在目标尺度变化、遮挡、光照变化以及摄像头抖动等诸多问题.该文提出基于时空信息融合的无人艇水面视觉目标检测跟踪,在空间上利用深度学习检测,提取单帧深度语义特征,在时间上利用相关滤波跟踪,计算帧间方向梯度特征相关性,通过特征对比将时空信息进行融合,实现了持续稳定地对水面目标进行检测与跟踪,兼顾了实时性和鲁棒性.实验结果表明,该算法平均检测速度和精度相对较高,在检测跟踪速度为15?fps情况下,检测跟踪精确度为0.83.     

基于时空信息融合的无人艇水面目标检测跟踪

在无人艇(USV)的导航、避障等多种任务中,目标检测与跟踪都十分重要,但水面环境复杂,存在目标尺度变化、遮挡、光照变化以及摄像头抖动等诸多问题。该文提出基于时空信息融合的无人艇水面视觉目标检测跟踪,在空间上利用深度学习检测,提取单帧深度语义特征,在时间上利用相关滤波跟踪,计算帧间方向梯度特征相关性,通过特征对比将时空信息进行融合,实现了持续稳定地对水面目标进行检测与跟踪,兼顾了实时性和鲁棒性。实验结果表明,该算法平均检测速度和精度相对较高,在检测跟踪速度为15 fps情况下,检测跟踪精确度为0.83。     

基于特征优选模型的Siamese网络目标跟踪算法

针对目标跟踪序列背景复杂、目标大尺度变化等导致目标辨识难度大的问题,提出了基于特征优选模型的Siamese网络目标跟踪算法。首先构建深度网络,有效地提取深度语义信息。再利用沙漏网络对多尺度下的特征图进行全局特征编码,将编码后的特征归一化处理,获取有效目标特征。最后构建特征优选模型,将解码获取的特征作为选择器甄别原特征图的有效特征并增强。为了进一步提高模型的泛化能力,引入注意力机制,对目标特征自适应加权,使其适应场景变化。最终提出算法在OTB100标准跟踪数据集测试成功率达到0.648,预测精度达到0.853,实时性为59.5 frame/s;在VOT2018标准跟踪数据集测试精度为0.536,期望平均覆盖率为0.192,实时性为44.3 frame/s,证明了该算法的有效性     

一种改进的显著性目标检测方法

针对传统方法无法很好地处理复杂背景下显著目标尺度和位置变化大,导致其检测精度较低的问题,文中提出一种改进的显著性目标检测方法。该方法是由卷积神经网络（CNN）与循环神经网络（RNN）相结合的深度学习模型,首先利用显著目标的时间、空间和局部约束特征来实现全局优化;然后,通过卷积神经网络提取显著目标区域以及循环神经网络捕获时间、空间和局部约束特征来检测显著性目标,从而有效地提高复杂背景下显著性目标检测的精度。将文中算法与其他方法在公开的显著性目标数据集上进行对比,并对F-measure、MAE值进行评估。结果表明,所提算法在检测精度和速度方面均有良好的效果,相比于其他方法,该算法对绝大部分实验数据可进行精确的定位检测,包括单个目标、多个目标检测以及光线不良的夜晚条件检测等情况,且具有最低的MAE值,能够提升模型的检测性能。     

联合实例深度的多尺度单目3D目标检测算法

针对单目3D目标检测算法中存在图像缺乏深度信息以及检测精度不佳的问题，提出一种联合实例深度的多尺度单目3D目标检测算法。首先，为了增强模型对不同尺度目标的处理能力，设计基于空洞卷积的多尺度感知模块，同时考虑到不同尺度特征图之间的不一致性，从空间和通道两个方向对包含多尺度信息的深度特征进行重新精炼。其次，为了使模型获得更好的3D感知，将实例深度信息作为辅助学习任务来增强3D目标的空间深度特征，并使用稀疏实例深度来监督该辅助任务。最后，在KITTI测试集以及评估集上对所提算法进行验证。实验结果表明，所提算法相较于基线算法在汽车类别的平均精度提升了5.27%，有效提升了单目3D目标检测算法的检测性能。     

结合时空上下文信息的相关滤波目标跟踪方法

针对繁杂环境下目标跟踪稳定性差且易受到遮挡发生漂移的问题,提出一种结合时空上下文信息的相关滤波目标跟踪方法。该算法首先从目标和背景区域提取方向梯度直方图特征和颜色直方图特征,加权融合两种特征的相关滤波响应,建立相关滤波跟踪模型;然后利用目标的背景梯度直方图特征,基于贝叶斯框架通过最大化似然函数得到时空上下文辅助模型;最后自适应融合两种模型响应,得到目标估计位置并采用尺度估计方法解决目标尺度变化问题。在OTB-2013公开标准测试集上与基于相关滤波的运动目标跟踪方法进行了实验对比。结果表明,该算法的平均距离精度值和平均重叠精度值都优于其他算法,能够有效缓解跟踪目标由于遮挡、尺度变化、光照等因素造成的跟踪漂移状况的发生。     

车载视频下改进的核相关滤波跟踪算法

针对相关滤波跟踪算法在车载视频下由于环境复杂及目标尺度变化等情况下容易跟踪失败的问题,该文提出一种基于背景信息的尺度自适应相关滤波跟踪算法。首先利用背景感知相关滤波跟踪器融合方向梯度直方图特征预测目标下一帧位置,然后根据预测位置选取图像块进行检测,最后结合动态尺度比例金字塔模型对目标进行尺度估计。实验选取了KITTI数据库中23段车载视频和标注国内的4段车载视频进行测试,实验结果表明,该算法能有效降低车载环境的复杂背景、目标尺度变化等因素干扰,整体性能优于KCF, DSST, SAMF, SATPLE等主流相关滤波算法,对车载环境下复杂背景和尺度变化的目标跟踪具有鲁棒性。     

基于自适应多尺度与轮廓梯度的遥感图像分割网络

遥感图像分割算法易受环境因素干扰，如物体遮挡、光照不均匀等。现有的深度学习遥感图像语义分割方法通常采取端到端的编解码结构，但针对相似度较高物体的结构和轮廓，仍存在分割不准确的问题。为了提高算法鲁棒性、分类准确率，提出一种基于轮廓梯度学习的深度卷积神经网络遥感图像语义分割算法。为了提高预测特征图的质量，首先基于SegNet模型，提出自适应注意力的多通道多尺度特征融合网络（D-MMA Net），其中D-MA block采用基于注意力的自适应多尺度模块，根据学习到的权重自适应地对不同尺度特征进行提取，以获得更多有效的高级语义特征。为进一步细化提取物体的边界，基于Sobel边缘检测算子原理提出可学习的轮廓提取模块。最后将轮廓信息与多尺度语义特征相结合，以增强对图像空间分辨率的鲁棒性。实验结果表明，所提算法提高分割的准确率，对于不规则物体边界，能有良好的分割效果。     

利用改进特征金字塔模型的SAR图像多目标船舶检测

深度学习模型中的特征金字塔网络（Feature Pyramid Network,FPN）常被用作合成孔径雷达（Synthetic Aperture Radar,SAR）图像中多目标船舶的检测。针对复杂场景下多目标船舶检测问题,提出了一种基于改进锚点框的FPN模型。首先将特征金字塔模型嵌入传统的RPN（Region Proposal Network）并映射成新的特征空间用于目标检测,然后利用基于形状相似度距离（Shape Similar Distance,SSD）度量的Kmeans聚类算法优化FPN的初始锚点框,并使用SAR船舶数据集测试。实验结果表明,所提算法目标检测精确率达到98.62%,在复杂场景下与YOLO、Faster RCNN、FPN based on VGG/ResNet等模型进行对比,模型准确率提高,整体性能更好。     

复杂场景下基于自适应特征融合的目标跟踪算法

为提升复杂场景下目标跟踪的鲁棒性,优化模型运行效率,提出一种基于自适应特征融合的相关滤波跟踪算法。该算法采用方向梯度直方图特征和卷积神经网络来对目标进行信息构建,利用特征响应的峰值旁瓣比和旁瓣值占比自适应地确定融合系数,根据融合响应来预测目标位置。为适应场景的变化,降低光照、背景和目标形变等对跟踪的影响,引入平均峰值相关能量来设计滤波器学习率调整机制,动态地进行模型更新。通过对深度特征提取网络进行轻量化设计,降低特征网络参数,提高跟踪速度。在OTB100通用数据集上进行测试,实验结果表明:文中所提算法有效降低了干扰对目标跟踪的影响,且跟踪精度、成功率和速度整体优于对比算法。     

基于SUKF与SIFT特征的红外目标跟踪算法研究

针对复杂红外背景下单一跟踪算法难以准确定位运动目标的问题,提出了基于尺度无迹卡尔曼滤波(SUKF,scale unscented Kalman filter)与尺度不变特征变换(SIFT,scale invariant featuretransform)相结合的红外运动目标跟踪方法。首先,通过SUKF算法对状态空间进行滤波估计,确定运动目标的初步位置,并以此建立局部SIFT特征检测域。其次,SIFT算法在该局部检测域内对运动目标进行特征提取与匹配,最终实现对目标的准确定位;同时,利用定位结果更新并校正SUKF的状态模型。实验结果表明,本文提出的基于SUKF-SIFT的跟踪策略与相关算法相比,体现出较好的跟踪效果与实时性能。     

Structural sparse coding seeds–active appearance model for object tracking

In this paper, we propose a tracking algorithm that can robustly handle appearance variations in tracking process. Our method is based on seeds–active appearance model, which is composed by structural sparse coding. In order to compensate for illumination changes, heavy occlusion and appearance self-updating problem, we proposed a mixture online learning scheme for modeling the target object appearance model. The proposed object tracking scheme involves three stages: training, detection and tracking. In the training stage, an incremental SVM model that directly measures the candidates samples and target difference. The proposed mixture generate–discriminative method can well separate two highly correlated positive candidates images. In the detection stage, the trained weighted vector is used to separate the target object in positive candidates images with respect to the seeds images. In the tracking stage, we employ the particle filter to track the object through an appearance adaptive updating algorithm with seeds–active constrained sparse representation. Based on a set of comprehensive experiments, our algorithm has demonstrated better performance than alternatives reported in the current literature.     

基于孪生神经网络的两阶段目标跟踪方法

深度学习技术使目标跟踪的精度和鲁棒性得到了很大提高,基于孪生网络的跟踪方法通过在大规模数据集上进行训练,使模型能应对目标的各种形变,缺点是无法排除相似目标的干扰。为此,提出了一种基于孪生网络的两阶段目标跟踪方法。首先,采用修改后的残差网络提取性能更优的深度特征。区域建议网络通过相关滤波调制自适应更新模板,结合时域信息过滤掉易区分的负样本;然后,通过感兴趣池化层提取候选区域固定尺度的特征,并馈送到验证网络进行更精细的分类与回归。为了提升网络对高难度样本的区分能力,采用正负样本对联合训练的方式提高特征匹配的性能。在OTB100、VOT标准测试集和UAV123无人机航拍数据集上进行了评测,实验结果表明:所提方法能明显改进基准算法的性能。     

红外目标检测网络改进半监督迁移学习方法

针对红外数据集规模小,标记样本少的特点,提出了一种红外目标检测网络的半监督迁移学习方法,主要用于提高目标检测网络在小样本红外数据集上的训练效率和泛化能力,提高深度学习模型在训练样本较少的红外目标检测等场景当中的适应性。文中首先阐述了在标注样本较少时无标注样本对提高模型泛化能力、抑制过拟合方面的作用。然后提出了红外目标检测网络的半监督迁移学习流程:在大量的RGB图像数据集中训练预训练模型,后使用少量的有标注红外图像和无标注红外图像对网络进行半监督学习调优。另外,文中提出了一种特征相似度加权的伪监督损失函数,使用同一批次样本的预测结果相互作为标注,以充分利用无标注图像内相似目标的特征分布信息;为降低半监督训练的计算量,在伪监督损失函数的计算中,各目标仅将其特征向量邻域范围内的预测目标作为伪标注。实验结果表明,文中方法所训练的目标检测网络的测试准确率高于监督迁移学习所获得的网络,其在Faster R-CNN上实现了1.1%的提升,而在YOLO-v3上实现了4.8%的显著提升,验证了所提出方法的有效性。     

An efficient system for anomaly detection using deep learning classifier

In this paper, a deep learning-based anomaly detection (DLAD) system is proposed to improve the recognition problem in video processing. Our system achieves complete detection of abnormal events by involving the following significant proposed modules a Background Estimation (BE) Module, an Object Segmentation (OS) Module, a Feature Extraction (FE) Module, and an Activity Recognition (AR) Module. At first, we have presented a BE (Background Estimation) module that generated an accurate background in which two-phase model is generated to compute the background estimation. After a high-quality background is generated, the OS model is developed to extract the object from videos, and then, object tracking process is used to track the object through the overlapping detection scheme. From the tracked objects, the FE module is extracted for some useful features such as shape, wavelet, and histogram to the abnormal event detection. For the final step, the proposed AR module is classified as abnormal or normal event using the deep learning classifier. Experiments are performed on the USCD benchmark dataset of abnormal activities, and comparisons with the state-of-the-art methods validate the advantages of our algorithm. We can see that the proposed activity recognition system has outperformed by achieving better EER of 0.75 % when compared with the existing systems (20 %). Also, it shows that the proposed method achieves 85 % precision rate in the frame-level performance.     

基于深度学习的红外与可见光决策级融合检测

提出了一种基于深度学习的红外与可见光决策级融合检测方法。首先,提出了一种介于深度学习模型之间的参数传递模型,进而从基于深度学习的可见光物体检测模型上抽取了用于红外物体检测的预训练模型,并在课题组实地采集的红外数据集上进行fine-tuning,从而得到基于深度学习的红外物体检测模型。在此基础上,提出了一种基于深度学习的红外与可见光决策级融合检测模型,并对模型设计、图像配准、决策级融合过程进行了详细地阐述。最后,进行了白天和傍晚条件下基于深度学习的单波段检测实验和双波段融合检测实验。定性分析上,由于波段之间的信息互补性,相比于单波段物体检测,双波段融合物体检测在检测结果上具有更高的置信度和更精确的物体框;定量分析上,白天时,双波段融合检测的mAP为86.0%,相比于红外检测和可见光检测分别提高了9.9%和5.3%;傍晚时,双波段融合检测的mAP为89.4%,相比于红外检测和可见光检测分别提高了3.1%和14.4%。实验结果表明:基于深度学习的双波段融合检测方法相比于单波段检测方法具有更好的检测性能和更强的鲁棒性,同时也验证了所提出方法的有效性。     

基于深度特征表达与学习的视觉跟踪算法研究

该文针对视觉跟踪中运动目标的鲁棒性跟踪问题,将深度学习引入视觉跟踪领域,提出一种基于多层卷积滤波特征的目标跟踪算法。该算法利用分层学习得到的主成分分析(PCA)特征向量,对原始图像进行多层卷积滤波,从而提取出图像更深层次的抽象表达,然后利用巴氏距离进行特征相似度匹配估计,进而结合粒子滤波算法实现目标跟踪。结果表明,这种多层卷积滤波提取到的特征能够更好地表达目标,所提跟踪算法对光照变化、遮挡、异面旋转、摄像机抖动都具有很好的不变性,对平面内旋转也具有一定的不变性,在具有此类特点的视频序列上表现出非常好的鲁棒性。     

一种易于初始化的类卷积神经网络视觉跟踪算法

该文针对视觉跟踪中运动目标的鲁棒性跟踪问题,基于主成分分析(PCA)和卷积神经网络(CNN),提出一种易于初始化的类CNN提取深度特征的视觉跟踪算法。该算法首先利用仿射变换对原始图像进行处理,然后对归一化尺寸的图像进行分层PCA学习,将学习得到的PCA特征向量作为CNN结构中的各阶滤波器,完成特征提取网络的初始化,再利用特征提取网络获取目标的深层次表达。最后结合粒子滤波,利用一个简单的逻辑回归分类器通过分类估计实现目标跟踪。结果表明,利用这种易于初始化的CNN提取到的深度特征能够有效地区分目标和背景,具有很好的可区分性,提出的视觉跟踪算法对光照变化、尺度变化、遮挡、旋转和摄像机抖动等都具有良好的适应性,在许多视频序列上表现出了较好的鲁棒性和准确性。