改进YOLOV3算法的视频目标检测

由于监控中的行人检测存在背景复杂,目标尺度和姿态多样性及人与周围物体互相遮挡的问题,造成YOLOV3对部分目标检测不准确,会产生误检、漏检或重复检测的情况。因此,在YOLOV3的网络基础上,利用残差结构思想,将浅层特征和深层特征进行上采样连接融合得到104×104尺度检测层,并将K-means算法聚类得到的边界框尺寸应用到各尺度网络层,增加网络对多尺度、多姿态目标的敏感度,提高检测效果。同时,利用预测框对周围其他目标的斥力损失更新YOLOV3损失函数,使预测框向正确的目标靠近,远离错误的目标,降低模型的误检率,以改善目标间互相遮挡而影响的检测效果。实验结果证明,在MOT16数据集上,相比YOLOV3算法,提出的网络模型具有更好的检测效果,证明了方法的有效性。     

基于深度学习的显著性目标检测综述

随着深度学习的不断发展,基于深度学习的显著性目标检测已经成为计算机视觉领域的一个研究热点。首先对现有的基于深度学习的显著性目标检测算法分别从边界/语义增强、全局/局部结合和辅助网络三个角度进行了分类介绍并给出了显著性图,同时对三种类型方法进行了定性分析比较;然后简单介绍了基于深度学习的显著性目标检测常用的数据集和评估准则;接着对所提基于深度学习的显著性目标检测方法在多个数据集上进行了性能比较,包括定量比较、P-R曲线和视觉比较;最后指出现有基于深度学习的显著性目标检测方法在复杂背景、小目标、实时性检测等方面的不足,并对基于深度学习的显著性目标检测的未来发展方向,如复杂背景、实时、小目标、弱监督等显著性目标检测进行了探讨。     

时序行为提名的上下文信息融合方法

在针对视频的人体活动定位和识别领域中,现有的时序行为提名方法无法很好地解决行为特征长期依赖性而导致提名召回率较低。针对此问题,提出了一种上下文信息融合的时序行为提名方法。该方法首先采用三维卷积网络提取视频单元的时空特征,然后采用双向门控循环网络构建上下文关系预测出时序行为区间。针对门控循环单元(GRU)存在参数较多和梯度消失的问题,通过输入特征控制门结构增强并行计算能力,通过引入加权平均增强历史和当前时刻信息融合能力,提出了一个简化的门控循环单元(S-GRU)。最后在数据集Thumos14上进行实验验证和比较,结果表明基于双向S-GRU循环网络的时序行为提名方法提高了提名召回率。     

Attention-CNN在恶意代码检测中的应用研究

恶意代码攻击已经成为互联网最重要的威胁之一,并且现存的恶意代码数据庞大,特征多样。为了更好地提取恶意代码特征以及掌握恶意代码的行为,提出了基于注意力机制的Attention-CNN恶意代码检测模型。首先结合卷积神经网络(CNN)和注意力机制,构建了Attention-CNN恶意代码检测模型;然后将恶意代码转化为灰度图像作为模型输入,通过对Attention-CNN模型训练及测试得到恶意代码对应的注意力图以及检测结果;最终将从恶意代码注意力图中提取的重要字节序列用于人工分析,以揭示恶意代码的相关行为。实验结果表明,相比于支持向量机(SVM)、随机森林、J48.trees以及未结合注意力机制的CNN,Attention-CNN取得了更好的检测效果。相比于vsNet,Attention-CNN在准确率方面提高了4.3个百分点。并且从注意力图中提取的重要字节序列能够有效减轻人工分析的负担,获取恶意代码的相关行为,同时弥补了灰度图形式的恶意代码检测的不可解释性。     

融合共现推理的Faster R-CNN输电线路金具检测

为促进目标检测模型与电力领域业务知识有机融合,缓解金具样本间长尾分布问题,有效提升输电线路金具的自动化检测效果,提出了融合共现推理的Faster R-CNN(faster region-based convolutional neural network)输电线路金具检测模型。首先,深入研究输电线路金具结构化组合规则,通过数据驱动的方式以条件概率对金具目标间的共现连接关系进行有效表达;然后,结合图学习方法,利用学习并映射的共现概率关联作为共现图邻接矩阵,使用基线模型(Faster R-CNN)提取的特征向量作为图推理输入特征,以自学习的变换矩阵作为共现图传播权重,完成图信息传播并实现有效的共现推理模型嵌入。实验证明,融合共现推理模块的Faster R-CNN模型较原始模型提升了6.56%的准确率,对于长尾分布样本中数量较少的金具性能提升尤其显著。     

融合视觉显著性再检测的孪生网络无人机目标跟踪算法

针对旋翼飞行器在跟踪过程中目标尺度变化、快速运动、视角变化等问题,本文提出了一种基于MobileNetV2的孪生网络目标跟踪算法,可在无人机机载处理器上实时运行。该算法主要包含目标得分估计模块与目标尺度估计模块两个部分。结合多特征融合的策略,可准确预测出目标位置与目标框IoU,同时以目标框IoU为指导,利用梯度上升法对目标框进行迭代修正,进一步提升预测精度。针对完全遮挡而导致的目标跟丢问题,本文设计了一个基于视觉显著性的目标再检测算法,该算法可实时高效地预测出图像的显著性区域,以指导对目标的再检测,进而恢复跟踪。最后,通过标准无人机跟踪数据集测试与实际无人机跟踪实验,验证了算法的可行性。     

面向车规级芯片的对象检测模型优化方法

卷积神经网络复杂的网络结构使得模型计算复杂度高,限制了其在自动驾驶等实际终端场景中的应用。针对终端场景下的计算资源受限的问题,本文从轻量化深度模型设计和车规级芯片模型部署验证两方面进行研究。针对深度模型计算效率和检测精度的矛盾,本文设计了基于中心卷积的轻量化对象检测模型,实现功耗低且精度高的模型性能。进一步,本文基于量化感知训练的模型加速部署方法在车规级芯片上开展了系统级部署验证,在车规级芯片tda4上成功实现了高效的对象检测模型,在自动驾驶场景中取得了良好的性能。     

改进Faster R-CNN的汽车仪表指针实时检测

针对产业化的汽车仪表指针人工视觉检测效果差、检测速度慢和实时性低等问题,本文提出了一种改进的Faster R-CNN汽车仪表指针实时检测算法。通过改进原始的RoI网络层结构,实现小目标高低层特征之间的完整传递;采用双线性内插算法替代两次量化操作,使得特征聚集变成连续的过程,能够有效减少计算时间;最后将工业机采集的视频数据,预处理成VOC格式数据集进行训练,调整超参数得到改进汽车仪表指针检测模型。实验结果表明:所提出的方法能够快速、准确地实现汽车仪表指针检测,单张图片的平均检测时间为0.197 s,平均检测精度可达92.7%。在不同类别仪表指针的迁移实验中,展示了良好的泛化性能。     

面向巡检机器人的电力设备状态检测算法研究

为更高效利用变电站巡检机器人开展电力巡检工作,满足电力行业发展对智能化巡检的需求,研究了面向电力巡检机器人的电力设备状态检测算法。首先,根据深度网络部署硬件芯片应用情况与性能对比,选择海思Hi3559A芯片作为算法移植的嵌入式平台。然后综合考虑各种检测算法的精度与速度,选用YOLOv3算法作为设备状态检测的基本判别模型。为了提升检测算法速度并减少模型体积,开展模型压缩算法及轻量型YOLOv3模型设计研究,分别提出了改进的小型化YOLOv3模型和基于通道剪枝与层剪枝结合的模型压缩方法,提高模型上下层的语义信息及剪枝后模型的精度保持。根据测试结果选择最优的模型在机器人前端部署,提出的轻量化YOLOv3模型很好地保持了设备目标与异物检测的精度,检测速度提升了4倍。     

基于图结构源代码切片的智能化漏洞检测系统

针对智能化漏洞检测,从源代码程序依赖图中根据漏洞特征提取图结构源代码切片,将图结构切片信息表征后利用图神经网络模型进行漏洞检测工作。实现了切片级的漏洞检测,并在代码行级预测漏洞行位置。为了验证系统的有效性,分别与静态漏洞检测系统、基于序列化文本信息和基于图结构化信息的漏洞检测系统做比较,实验结果表明,所提系统在漏洞检测能力上有较高准确性,并且在漏洞代码行预测工作上有较好表现。